BigData com Python - Como Trabalhar com Bases Gigantes no Pandas

Рет қаралды 10,945

Күн бұрын

Quer saber mais sobre o nosso Curso Completo de Python? Clique no link abaixo para garantir sua vaga na próxima turma:
pages.hashtagtreinamentos.com...
PARA BAIXAR O MINICURSO GRATUITO DE ANÁLISE DE DADOS:
pages.hashtagtreinamentos.com...
-----------------------------------------------------------------------
► Arquivos Utilizados no Vídeo:
pages.hashtagtreinamentos.com...
► Vídeo de Instalação do Jupyter: • Instalando o Jupyter -...
► Como Fazer Formatação Numérica no Python
• Como Fazer Formatação ...
-----------------------------------------------------------------------
Caso prefira o vídeo em formato de texto: www.hashtagtreinamentos.com/b...
-----------------------------------------------------------------------
Fala Impressionadores! Hoje eu quero falar sobre como trabalhar com bases gigantes no Pandas, ou o famoso BigData com Python!
Em alguns casos nós vamos ter que trabalhar com bases de dados muito grandes e isso pode ser um problema já na hora de ler as informações.
Como são muitas informações é possível que o seu sistema já nem consiga ler toda a base de dados, imagine processar tudo o que precisa com essas informações.
Por esse motivo eu quero te mostrar como trabalhar com BigData no Python para que você saiba o que fazer quando tiver uma base muito grande e o seu sistema não suportar.
É possível tentar ler a base de dados direta no Python, mas se isso consumir demais do seu computador ou do seu sistema, você pode ler base de dados em partes no Python.
Isso quer dizer que vamos criar um for (estrutura de repetição) para ler pedaços do código e executar uma tarefa só com essa parte. Depois vamos repetir para toda a base de dados.
Esse processo acaba demorando muito mais e fica um pouco mais complexo, mas não consome tanto do seu sistema!
-----------------------------------------------------------------------
Hashtag Programação
► Inscreva-se em nosso canal: bit.ly/3c0LJQi
► Ative as notificações (clica no sininho)!
► Curta o nosso vídeo!
-----------------------------------------------------------------------
Redes Sociais
► Blog: bit.ly/2MRUZs0
► KZfaq: bit.ly/3c0LJQi
► Instagram: bit.ly/3o6dw42
► Facebook: bit.ly/3qGtaF2
Aqui nos vídeos do canal da Hashtag Programação ensinamos diversas dicas de Python para que você consiga se desenvolver nessa linguagem de programação!
-----------------------------------------------------------------------
Conteúdo da Aula
00:00 Introdução
00:56 O que é BigData (Diferença entre análise “normal”)
01:45 Desafio da aula
02:08 Importando e visualizando a base de dados
04:02 Alterando a quantidade de linhas da base de dados
05:04 Ler base de dados em partes no Python
06:55 Exemplo prático lendo base de dados em partes
16:16 Vantagens e Desvantagens dos modos de ler a base de dados
18:54 Resultado com a base de dados em partes
19:53 Conclusão
#python #hashtagprogramacao

Пікірлер: 24

Жыл бұрын

Fala galera! Gostou do vídeo? Deixa a sua curtida e se inscreve no canal! ► Para baixar o Minicurso de Python, acesse: pages.hashtagtreinamentos.com/inscricao-minicurso-python-automacao-org?origemurl=hashtag_yt_org_minipython_tYkbNV0onGk ► Para baixar os arquivos da aula, acesse: pages.hashtagtreinamentos.com/arquivo-python-1YzQcuoZvnbgvV5fzEybxZtUjkT8_QC_a?origemurl=hashtag_yt_org_planilhapyt_tYkbNV0onGk ► Para instalar o Jupyter, acesse: kzfaq.info/get/bejne/lct7Y91mtsjUe3U.html ► Blog: bit.ly/2MRUZs0 ► KZfaq: bit.ly/3c0LJQi ► Instagram: bit.ly/3o6dw42 ► Facebook: bit.ly/3qGtaF2

@diegofrota 19 күн бұрын

Vc se garante demais!

@jessica_barros Жыл бұрын

Show, Lira. Obrigada pela aula!

@mwillianc Жыл бұрын

Muito bom Parabéns.

@luizflh 2 ай бұрын

Muito obrigado. Excelente!

@rafabruno Жыл бұрын

Ótimas dicas, valeu!

@jndpal Жыл бұрын

Excelente!

@carloshenrique-ov5nk Жыл бұрын

muito boa a aula. bem objetiva. obg!

@gilbertoherminio8251 Ай бұрын

Show():Bola()

@jorgebenamor9954 4 ай бұрын

Me ajudou bastante!

@andrearaujo7541 Жыл бұрын

que aulão heim!

@italoaraujo6137 Жыл бұрын

Gostei! Faz um vídeo com essa mesma base de dados usando o spark agora

@vitornotaro Жыл бұрын

Faz um video de Spark e hadoop

@Marcelo.Magalhaes Жыл бұрын

Outra possibilidade: utilizar a biblioteca Polaris ao invés do Pandas e torcer para que a próxima atualização dessa se torne parecida com aquela.

@laersonhammes2608 Жыл бұрын

A balança entre o Time Complexity e o Space Complexity

@emerson51802 Жыл бұрын

O polars é muito bom pra trabalhar com big data, o dask é uma outra solução palpável, mas a melhor de todas é o spark, podia fazer um vídeo com o polars

@FabioRBelotto Жыл бұрын

Já brinquei um pouco com o dask, mas não tive muito sucesso

@lenivaldopereira4718 Жыл бұрын

Bom dia equipe! Parabéns Lira! Me esclareça uma dúvida: foi necessário baixar todo o banco de dados ANTES de iniciar as análises das primeiras 10.000 linhas? Sou aluno de Análise e desenvolvimento! Desde já, grato pela atenção!!

@jamn52 Жыл бұрын

Colega. E se eu quiser medir a quantidade de memória para cada chunk do large.csv para tentar usar o disponível da minha memória ram ?Explico, se eu settar um chunk de 10.000 e isso representar um valor muito baixo da minha ram interna? Se eu quiser aplicar aumentos do tamanho do chunk até chegar a um valor ideal em relação ao meu hardware ?Como fazer ?

@alicinomoura Жыл бұрын

Como vc não mencionou, acredito que esteja usando o pandas na versão antiga (v1). Ainda não testei, mas a versão 2.0 do pandas está bem melhor. Foi nessa que vc fez o video?

@jamn52 Жыл бұрын

Opa ... fui o 401! kkk

@jamn52 Жыл бұрын

Já fez uma medição do large.csv com uma importação para um DB ?? Tvz um DB faça um gerenciamento melhor

@professordabliu9562 Ай бұрын

Olá pessoal do Hashtag. Como professor, sei que essas "buzzwords" de ciências de dados possuem diversas e, às vezes, conflitantes definições. Mas já vi diversas literaturas que dizem que para ser Big Data, é preciso ter aqueles cinco "Vs": volume, velocidade, variedade, veracidade e valor. Portanto, uma base de dados tradicional (com linhas, colunas e valores alfanuméricos) não poderia ser considerada "Big Data" ainda que tivesse trilhões de observações. Ou seja, "dados grandes" se torna, neste caso, uma má tradução, pois não é necessariamente Big Data o que temos. Neste vídeo, vejo que vocês chamam de Big Data essas bases de dados enormes. Existe alguma literatura que diz isso?

@gibfms Жыл бұрын

Desculpa Lira, mas isso não é Big Data, passa longe de ser Big Data. Pandas não foi feito para BigData. Melhor falar sobre DASK então, Spark ou Hadoop. E se quiser velocidade para Big Data usa o CUdf da Nvidia, para usar o poder de processamento todo em GPU.