Estratégias que NÃO TE ENSINAM para trabalhar com dados GIGANTES no PYTHON

Рет қаралды 23,011

5 ай бұрын

Conheça a trilha Python para Data Science e Machine Learning,:
asimov.academy/trilha-data-sc...
Saber utilizar o Pandas adequadamente para processar arquivos gigantes é uma habilidade que apenas cientistas de dados avançados dominam.
Ao longo dos últimos 10 anos trabalhei aplicando Data Science no desenvolvimento de estratégias de investimento e precisava lidar com arquivos absurdamente pesados... tabelas que somadas chegavam a 50TB... e para realizar simulações adequadamente, aprendi uma série de técnicas diferentes. Neste vídeo compartilho algumas delas.

Пікірлер: 55

@F4RL3Y 5 ай бұрын

Excelente! Estou construindo um projeto para operar no mercado e meu market data possui 13 milhões de linhas, vai me ajduar demais!!!!

@dedeoliveira82 5 ай бұрын

Impressionante essa estratégia de ajustar os tipos de dados que sao lidos como object! Em um dataframe aqui de exercicios que estava fazendo originalmente fora lido com 63 MB. Após simplesmente ajustar os tipos de dados de 05 colunas o tamaho do dataset foi reduzido para 29 MB. Um ganho (reduçao) de 46%. Muito obrigado por esta videoaula.

@denisbrunomoraisneves2471 4 ай бұрын

Essa aula ensina muito mais que uns cursos completo por ai viu, parabens!!

@user-it8mz5vc3d Күн бұрын

Vídeo simplesmente incrível, ainda não tenho muito conhecimento sobre Python e muito menos Python aplicado no dia-dia (para análises variadas...) contudo seu vídeo foi bem explicativo, despertou meu interesse em aprender bem mais

@gilissantos6532 4 ай бұрын

Ótimo conteúdo como sempre, um assunto extremamente importante, tipo de dados para processamento, otimizar tempo porque é uma coisa valiosa demais para perder.

@IsraelJMCarvalho 5 ай бұрын

Fantástico, incrível e surpreendentemente útil... São vídeos assim que mudam radicalmente algumas práticas e costumes que temos.

@tcbandeira 5 ай бұрын

Poxa isso sim que é aula pratica de verdade! O rigado mestre!

@diegovaler5204 5 ай бұрын

excelente explicação

@weversonmachado5333 3 ай бұрын

Ótimo!

@HENRIQUECANDINHO 5 ай бұрын

Muito bom!

@laurenceribeiro 5 ай бұрын

Ótimo vídeo! Estou lendo um livro chamado: “Python para Análise de Dados”, e coincidentemente hoje mesmo estava lendo um capítulo sobre os tipos de arquivos que o Pandas lê e apareceu esse formato de arquivo Apache Parquet. Muito bom 👏🏻👏🏻👏🏻

@Ragnarok906 4 ай бұрын

Qual o nome do livro?

@laurenceribeiro 4 ай бұрын

@@Ragnarok906 Python para Análise de Dados - 3ª edição do Wes McKinney.

@geovanidias5825 5 ай бұрын

Show de bola! Excelente vídeo. Parabéns e sucesso!

@AsimovAcademy 5 ай бұрын

Fico feliz que tenha gostado! Abraços, Geovani!

@bcavalcante 3 ай бұрын

Muito bom! Obrigado.

@AsimovAcademy 3 ай бұрын

Nós que agradecemos. Sucesso!

@GilsonFabiano 5 ай бұрын

Bacana, tem vídeos no canal sobre essa análise de trades in time e livro de ofertas?

@SkySesshomaru 5 ай бұрын

Caralho, esse vídeo foi FODA. Muito maneiro mesmo.

@AsimovAcademy 5 ай бұрын

Fico feliz que tenha te ajudado! Abração!!

@samuelmartins82 5 ай бұрын

Seria possível, com o pandas, particionar os dados em diretórios, como fazemos com o PySpark ? Por exemplo, se um df tiver dados de 3 anos diferentes, as partições seria 1 diretório pra cada ano + 1 diretório pra cada mês.

@AsimovAcademy 5 ай бұрын

Oi, Samuel, é possível sim, é um processo bem tranquilo. Para ser sincero, eu não conheço nenhuma forma de fazer isto nativamente no Pandas (uma função dele que faça isto para você), mas eu costumava fazer exatamente isto que você descreveu através de um for loop que iterava sobre meses e anos do DataFrame. e exportava meus dados de negociações da bolsa em diversas pastas. Não dá nem 10 linhas de código. Abraços!

@fabioa8059 12 күн бұрын

Não faz sentido fazer isso. Existem outras libs específicas para tratar big data com máquinas fracas como o dask e o Polars. Se você quiser pode até usar depois pandas mas faz muito mais sentido continuar usando essas ferramentas ao invés de pandas que nem paraleliza

@AlmirBispo-CSV-Comp-DB 4 ай бұрын

Existe um banco tipo newsql/ nosql especializado em CSV

@canaljesusnazareno 5 ай бұрын

Puts, dica de ouro! Adiantou 01 ano de estudo em poucos minutos rsrsrs

@AsimovAcademy 5 ай бұрын

Fico feliz que tenha ajudado! Abraços!!

@marcosgomes3140 5 ай бұрын

Pra quem tem o mínimo de noção em python, acho que nem desenhando ficaria tão claro. 🤣🤣👏🏼👏🏼👏🏼👏🏼

@Casdias 15 күн бұрын

Como você configurou o seu pycharm pra visualizar as execuções assim!?

@SrPedroS 5 ай бұрын

Muito bom! Tem algum vídeo de como criar esse terminal interativo?

@AsimovAcademy 5 ай бұрын

Oi, Pedro, tem sim! Neste vídeo eu explico o passo a passo: kzfaq.info/get/bejne/pdKPhpx4ldSnfnk.html&ab_channel=AsimovAcademy Abraços!

@Daxiannn 4 ай бұрын

Bom dia. Sabe me dizer se é possivel combinar dados de ativos ou tirar o spread de ativos e criar um gráfico sintético com a combinação desses ativos e acompanhar em tempo real com Python? Por exemplo juros de 10 anos dos EUA (us10y) -(subtração) pelo juros da alemanha de dez anos(de10y) e gerar um gráfico

@AsimovAcademy 4 ай бұрын

Olá! É possível, sim, desde que tenha acesso a market data.

@folcloremacabro Ай бұрын

Como se executa no terminal interativo?

@giovanesilveiradasilveira994 5 ай бұрын

👋👋👋

@RodrigoGallaro 4 ай бұрын

Top demais os vídeos! Consegue um cupom de desconto pra quem está pensando em assinar o curso no site?

@AsimovAcademy 4 ай бұрын

Olá, Rodrigo! Fale com um de nossos consultores pelo WhatsApp wa.me/555197100833 Iremos ajudá-lo a encontrar a melhor solução!

@anselmomendes9585 4 ай бұрын

13:53

@F4RL3Y 5 ай бұрын

Uma dúvida, estou utilizando o sqlite3 pois o desempenho para leitura dos dados é significativamente maior do que o mysql. Considera que seria recomendável utilizar esse .parquet neste caso? O sqlite3 foi apenas uma maneira que encontrei ir guardando e organizando os dados através de arquivos.

@AsimovAcademy 5 ай бұрын

Sugiro fazer o teste. Extraia os dados da sua base sql, salve em parquet e faça uma comparação no tempo de leitura. Melhor sempre validar antes de fazer grandes mudanças.

@antoniocferreira7337 5 ай бұрын

Fui instalar o pandas, direciona para o site para instalar o Anaconda que tem varias libs. Quando eu copio o pandas.py e importo o pandas começa a pedir outras dependencias da lib e quanto mais eu copio no diretorio que estou testando, mais dependencia surge, tem como resolver isso? Ou tem outra forma de instalar/usar o pandas no python?

@denisbrunomoraisneves2471 4 ай бұрын

Alguma outra forma para importação mais rapida de importar SQL? tenho usado o chunk, existe alguma outra forma?

@AsimovAcademy 4 ай бұрын

Olá, Denis! Isso depende de várias questões (qual banco SQL usa, como é o ambiente dele, onde o banco é hospedado etc.).

@Fabricio-rm4hj 5 ай бұрын

Muito bom, onde encontro esse dataset? gostaria de reproduzir esse estudo.

@brunodiasvibe 5 ай бұрын

Site kaggle

@AsimovAcademy 5 ай бұрын

Oi, Fabricio. Infelizmente peguei este dataset no Kaggle há bastante tempo e perdi sua origem. Mas existem muitos datasets semelhantes lá produzirão o mesmo resultado. Este aqui é um exemplo: www.kaggle.com/datasets/giovamata/airlinedelaycauses Abraços!

@BassAtoZ 5 ай бұрын

Excelente vídeo! Experimento isso na prática com os datasets do ENEM. Normalmente para fazer a leitura sem estourar a memória, faço testes de ler partes (seleciono) de linhas ou colunas do dataset. Vou experimentando até chegar a capacidade máxima de memória. Carregar o dataset inteiro estoura a memória. Alguma sugestão de como conseguir um dataset grande otimizando a memória. Não conseguiria aplicar essas duas técnicas que mostrou, sem carregar o dataset inteiro. Em minha máquina ou nas máquinas virtuais (colab) da Google, não consigo carregar um dataset completo para leitura e aplicar essa técnica. Sugestões são bem vindos!!! Absss ❤

@muriloeziliano5353 5 ай бұрын

Tu poderia passar o link do kaggle pra tentar acompanhar o teu código?

@AsimovAcademy 5 ай бұрын

Oi, Murilo. Infelizmente peguei esse dataset no Kaggle há bastante tempo e perdi sua origem. Mas existem muitos datasets semelhantes lá produzirão o mesmo resultado. Este aqui é um exemplo: www.kaggle.com/datasets/giovamata/airlinedelaycauses Abraços!

@medeirosvig 4 ай бұрын

onde eu consigo esse arquivo de exemplo?

@AsimovAcademy 4 ай бұрын

Olá! Infelizmente peguei esse dataset no Kaggle há bastante tempo e perdi sua origem. Mas existem muitos datasets semelhantes lá que produzirão o mesmo resultado. Este aqui é um exemplo: www.kaggle.com/datasets/giovamata/airlinedelaycauses Abraços!

@freddoliveira 3 ай бұрын

@infogenuino 2 ай бұрын

Porque o python não mostra todo conteudo da planilha? tenho um planilha de 41 mil linhas, onde tem dados de idade, começa na idade 17, quando chega no 36, ai pula 89, fica aparecendo só os risquinhos, exemplo abaixo, 33 1833 36 1780 35 1759 ... 89 2 91 2

@fabioa8059 12 күн бұрын

Porque gasta memória ram. Se quiser visualizar tudo é melhor trabalhar com Excel