Como trabalhar com arquivos e dados GIGANTES no PYTHON

No video

Como trabalhar com arquivos e dados GIGANTES no PYTHON

Рет қаралды 875

5 ай бұрын

Hoje eu quero te trazer algumas dicas e te ensinar como trabalhar com arquivos e dados GIGANTES no Python, são pequenos detalhes e comandos super importantes quando estamos trabalhando com conjuntos de dados gigantes, com milhões de registros e muitos campos e variaveis.
Vamos ver tudo passo a passo e na prática as melhores formas e estratégias para trabalharmos com arquivos gigantes no Python para melhorar nossa produtividade e nossa performance.
Vídeos que podem te ajudar bastante:
O Poder Transformador do BIG DATA
• O que é BIG DATA e tod...
Como baixar DATASETS REAIS para Machine Learning
• Como baixar DATASETS R...
Link para download do Jupiter Notebook e conjunto de dados(csv) apresentado neste vídeo:
docs.google.co...
#machinelearning
#python
#cienciadedados

Пікірлер: 11

@0cxxus 5 ай бұрын

Veio em boa hora, estava passando trabalho com um conjunto de dados com mais de 26gb

@daniloaprigio171 3 ай бұрын

Muito bom!

@fqgiord 5 ай бұрын

Muito top! Deve ajudar muito no dia-dia. Mas tbm não é tão simples assim... rsrsrs Pra chegar nesse nivel o camarada deve estar bem ambientado nesse processo.

@HENRIQUECANDINHO 5 ай бұрын

Ajuda muito mesmo! Parabéns pelo conteúdo!

@wesleysilva5967 5 ай бұрын

Parabéns pelo conteúdo!!! O passo a passo utilizado foram muito bem explicados

@carlosdourado4483 5 ай бұрын

Boa Jeferson, valeu

@tiagoalves6494 5 ай бұрын

Excelente, sempre tive um pouco de receio em usar o python para analise de muitos dados. Obrigado pelo conteúdo.

@princesasindelicadas 3 ай бұрын

Muito bom, parabéns! Tenho uma dúvida, eu assisti o seu outro vídeo sobre "Análise Exploratória", e tenho uma dúvida, estou trabalhando em um "Case" para uma empresa, onde a base de dados é grande e os dados estão todos no formato "object", impedindo que eu faça uma boa análise exploratória, pois não consigo usar o "describe" e nem gerar os "gráficos de caixa" além de os dados estarem consumindo muita memória. A minha dúvida é, eu devo fazer esses tratamento de tipos de dados já na análise exploratória, ou eu devo ir para o pré-processamento e ai sim realizar esses tratamentos? E se eu ir para o pré-processamento para realizar esses tratamentos, após isso eu devo fazer uma nova análise exploratória para concluir o que eu não havia conseguido fazer por causa do problema dos tipos de variáveis?

@nerddosdados 3 ай бұрын

Ola Nesse caso como seu arquivo é grande e você não está conseguindo fazer a análise primeiro você deve converter os tipos de campos e deixar o arquivo apto para você conseguir fazer toda análise. Então ajuste os campos e depois volte para a etapa de análise