No video

Um candidato de 98 anos fez o ENEM! | Análise de Dados #3

  Рет қаралды 33,055

Programação Dinâmica

Programação Dinâmica

5 жыл бұрын

Nesse terceiro vídeo da série de análise de dados em Python, começamos uma análise exploratória do nosso dataset (conjunto de dados) do Enem utilizando os métodos do Pandas: head(), filter(), value_counts(), columns.values. Aprendemos a filtrar colunas específicas contar os valores de uma série Pandas e gerar um histograma da série utilizando Matplotlib. Tudo isso no Jupyter Notebook :)
****Link para NOSSA LISTA de e-mails: bit.ly/pgdinamica1 *********
Gostou do vídeo? Dá uma conferida na nossa playlist de análise de dados: • Análise de Dados em Py...
Curta o Programação Dinâmica no Facebook: / programacaodinamica
*Instagram: @dinamicaprogramacao @kizzy_terra @ hallpaz
*Twitter: @pgdinamica @kizzyterra @hallpaz
#AnáliseDeDados

Пікірлер: 210
@nataliaoliveira9224
@nataliaoliveira9224 3 жыл бұрын
A Kizzy é INCRÍVEL! Que inspiração! Uma didática excelente, clara, objetiva que consegue alcançar quem está iniciando nesse mundo até quem já tem experiência
@pgdinamica
@pgdinamica 3 жыл бұрын
Obrigada Natalia 💜
@MoizesAraujo
@MoizesAraujo 4 жыл бұрын
Conheci o canal ontem e estou assistindo todos os vídeos. Muito bom!!!
@hiago_moura
@hiago_moura 3 жыл бұрын
Eu conheci hoje, e estou fazendo a mesma coisa! Conteúdo sensacional, e passado de forma muito tranquila!
@ednilsonfarias4769
@ednilsonfarias4769 3 жыл бұрын
@@hiago_moura verdade conheci a dois dias. E me perguntei porque não conheço antes rsrsrs está melhor que um curso da Udemy que comprei
@HerminioSabino
@HerminioSabino 3 жыл бұрын
Iniciei um curso básico de python nesta quarentena e o professor fez a recomendação do Canal. Eu estou gostando bastando dos vídeos. E essa playlist está ajudando muito nos exercícios do curso. Parabéns pelo trabalho
@RogerioCabral
@RogerioCabral 2 жыл бұрын
procurei uma solução de interação com csv em todo canto (mesmo), mas só você explicou exatamente como eu estava buscando! Esse canal é maravilhoso! sua didática é perfeita!
@pgdinamica
@pgdinamica 2 жыл бұрын
Que bom que ajudou 😊
@UmPequenoPasso
@UmPequenoPasso 5 жыл бұрын
Passando aqui pra deixar aquele like e apoiar esse super canal. Produzir conteúdo aqui no KZfaq com essa qualidade não é fácil, parabéns pelo trabalho👏
@pgdinamica
@pgdinamica 5 жыл бұрын
Opa, que honra! Muito obrigada pelo incentivo. De fato, não é fácil, mas nos esforçamos, assim como você, para manter a excelência ☺️ grande abraço!
@DiGaOw3
@DiGaOw3 2 жыл бұрын
Sua didática é incrível, comecei Pós graduação em Analise de Dados e sua explicação e suas analise dos dados do ENEM foram maravilhosas, quero mais vídeos rsrsrs.
@gerdeonsantosnunes7687
@gerdeonsantosnunes7687 Жыл бұрын
Oi, onde vc está fazendo sua pós em análise de dados? Gostaria de fazer, mas estou inseguro sobre onde fazer. Desde já, agradeço.
@DiGaOw3
@DiGaOw3 Жыл бұрын
@@gerdeonsantosnunes7687 eu fiz na Unopar, pelo baixo custo. Se está indeciso sobre o curso, recomendo se "formar" estudando por conta própria e fazer o curso para rever os assuntos e tirar o certificado. Assim terá mais certeza da decisão e não vai ter prejuízo de tempo e dinheiro caso não goste do curso.
@ricardomonteiro9473
@ricardomonteiro9473 3 жыл бұрын
Sua capacidade de comunicação é incrível !!! Estou fazendo trabalho de pós-graduação e estou usando suas dicas.
@marcusduarte6543
@marcusduarte6543 2 жыл бұрын
Olá quero deixar aqui meu muito obrigado. Ótima didática. Por favor continue com o conteúdo de boa qualidade.
@pgdinamica
@pgdinamica 2 жыл бұрын
Muito obrigada 😊
@jenifferdiniz7544
@jenifferdiniz7544 3 жыл бұрын
Ela é muito maravilhosa 😻 grata pela contribuição de vocês!!
@pgdinamica
@pgdinamica 3 жыл бұрын
Valeu Jeniffer!
@steniodiniz1
@steniodiniz1 3 жыл бұрын
Maratonei nessa feriado no canal de vocês. Parabéns. Sou da velha garda e há muitos anos não faço uma linha de código. Resolvi aprender por Python. Já diversos cursos, porém o de vocês foi direto ao ponto que eu precisava para entender e organizar as informações que já tinha. Obrigado pelo esforço e dedicação de vocês para distribuir conhecimento.
@pgdinamica
@pgdinamica 3 жыл бұрын
Uau, muito obrigada pelo feedback Stenio, sucesso nos estudos!
@emillytabara9410
@emillytabara9410 10 ай бұрын
Estou amando suas aulas, Kizzy! Bastante fluidez. Parabéns.
@pgdinamica
@pgdinamica 10 ай бұрын
Obrigada!
@inatavares1740
@inatavares1740 4 жыл бұрын
Sua didática é fantástica! Já realizei dois cursos de Data Science, mas em nenhum tive uma professora tão boa quanto você. Parabéns! Estou amando o projeto.
@pgdinamica
@pgdinamica 4 жыл бұрын
uau, que legal!
@biancachristinaoliveira97
@biancachristinaoliveira97 2 жыл бұрын
Kizzy, você é realmente uma inspiração. Muito obrigada mesmo por tamanha generosidade de compartilhar esses conhecimentos com a gente. Desejo muito sucesso a vocês!
@pgdinamica
@pgdinamica 2 жыл бұрын
Nós que agradecemos!
@leonardofeliciano2602
@leonardofeliciano2602 5 жыл бұрын
A série está muito boa!! Didática impecável!! Parabéns!! :)
@pgdinamica
@pgdinamica 5 жыл бұрын
Obrigada Leonardo! :)
@MaluFreitas08
@MaluFreitas08 4 жыл бұрын
Didática excelente! Parabéns!!! Muito obrigada por compartilhar os seus conhecimentos
@ednilsonfarias4769
@ednilsonfarias4769 3 жыл бұрын
Conheci o canal ontem e já viria membro e compartilhei . Show de bola
@pgdinamica
@pgdinamica 3 жыл бұрын
Oi Ednilson, seja bem vindo! 😊
@mmcrispim
@mmcrispim 4 жыл бұрын
Muito legal essa análise. Pretendo arrumar um tempo para olhar outros vídeos porque achei você muito clara nas explicações e quero fazer alguns destes exemplos e assim aprender mais. Obrigada.
@pgdinamica
@pgdinamica 4 жыл бұрын
Que ótimo! Fico muito feliz, seja bem vinda a nossa comunidade 😊
@geraldoribeiros
@geraldoribeiros 3 жыл бұрын
Assistindo tudo tb. Massa o canal.
@pgdinamica
@pgdinamica 3 жыл бұрын
Muito obrigado 😊
@thiagoalmeida8324
@thiagoalmeida8324 11 ай бұрын
didática exelente, muito leve! parabens!
@pgdinamica
@pgdinamica 11 ай бұрын
Bons estudos!
@williammax4179
@williammax4179 3 жыл бұрын
Opa!!! Maceió aqui. Muito bom o material desse canal.
@robertojrspfc11
@robertojrspfc11 4 жыл бұрын
Excelente conteúdo e a didática é perfeita! Eu acho que seria interessante compartilhar esses jupiters notebooks no git e botar o link na descrição dos vídeos, assim ajudaria no acompanhamento do conteúdo.
@omarciano42
@omarciano42 Жыл бұрын
ao invés de fazer list comprehension pra pegar as porcentagens, é só usar o parâmetro normalize=True dentro da função value_counts e multiplicar por 100
@scienceeducation393
@scienceeducation393 4 жыл бұрын
Nossa, eu amei os seus vídeos! Realmente são de muita qualidade.
@pgdinamica
@pgdinamica 4 жыл бұрын
Que boom!
@jeff4ever2
@jeff4ever2 Жыл бұрын
Este belíssimo vídeo é um exemplo do porque o inep alterou a apresentação dos microdados do enem. Dados que conseguem identificar um candidato em particular, como a candidata de 98 anos, podem permitir sua reidentificação e ferem a atual LGPD, por conta disso não conseguimos mais saber a idade exata de um candidato. Nesse caso o campo da idade foi trocado por um código de faixa etária. Kizzy, minha pergunta é sobre isso. Quando peço a quantidade de valores únicos da coluna de faixa etária: microdadosSelec['TP_FAIXA_ETARIA'].value_counts() me é retornado uma série com o código de 1 a 20, representando cada faixa etária, e com a contagem de candidatos por cada faixa. queria pegar essa série e trocar o código de 1 a 20 pelos nomes das faixas etárias, conforme está no dicionário. ja coloquei esses nomes dentro de uma array na mesma ordem, mas não consigo juntar a serie com a array. como posso fazer isso?
@BrunoRodrigues-uq6tv
@BrunoRodrigues-uq6tv 4 жыл бұрын
Canal maravilhoso demais! Parabéns!!!!
@pgdinamica
@pgdinamica 4 жыл бұрын
Obrigada 😊
@otavioaugust
@otavioaugust Жыл бұрын
Nossa que aula maravilhosa... vamos lá, você poderia mostrar a mesma experiência no COLAB o para computadores simples.
@jeffersomemilio
@jeffersomemilio 4 жыл бұрын
Nossa sua didática é espetacular!
@pgdinamica
@pgdinamica 4 жыл бұрын
Obrigada!
@emaildomfl
@emaildomfl 2 жыл бұрын
Video fantástico. Parabéns. Estou gostando muito da série. Conheci hoje e pretendo maratonar.
@pgdinamica
@pgdinamica 2 жыл бұрын
Que ótimo! Bons estudos 🙌🏾
@allinelamenha
@allinelamenha Жыл бұрын
Obrigada por compartilhar seu conhecimento! Você é massa demais! E uma reflexão: fui tentar reproduzir com os dados de 2021, e os números deram tão menores que achei que estava fazendo algo errado... mas, infelizmente, parece que a participação no Enem realmente caiu substancialmente mesmo...
@beatrizdasilvaoliveira1642
@beatrizdasilvaoliveira1642 5 ай бұрын
Muito legal essa análise. Obrigada mesmo!
@pgdinamica
@pgdinamica 5 ай бұрын
De nada! Bons estudos!
@robertodacosta122
@robertodacosta122 3 жыл бұрын
Estou começando a estudar python por conta propria e parei nesse canal. To adorando as suas explicações, conteúdo muito bom!!!
@pgdinamica
@pgdinamica 3 жыл бұрын
Seja bem-vindo!
@lublack2009
@lublack2009 5 жыл бұрын
Sou graduando em Gestão da informação aqui na UFU,é seguirei a carreira de data Science....A serie esta muito ótima!!Obrigado por compartilhar esses conhecimentos
@pgdinamica
@pgdinamica 5 жыл бұрын
Muito obrigada Luciano!
@marcosilva755
@marcosilva755 4 жыл бұрын
Algum problema com o arquivo, não abre de maneira alguma! testei agr com CSV do TITANIC e abriu tranquilo
@douglasmonteiro6139
@douglasmonteiro6139 3 жыл бұрын
Nossa os vídeos são incrível, Parabéns pela dinâmica
@pgdinamica
@pgdinamica 3 жыл бұрын
Muito obrigada! 😊
@edsoncarlos623
@edsoncarlos623 4 жыл бұрын
Simplesmente, incrível...
@pgdinamica
@pgdinamica 4 жыл бұрын
Valeu Edson!
@raniel0511
@raniel0511 3 жыл бұрын
Assistido ✔️ Muito legal, Kizzy você é demais.
@isaelpaz2957
@isaelpaz2957 3 жыл бұрын
Canal foda de mais! Parabéns!
@pgdinamica
@pgdinamica 3 жыл бұрын
Obrigada!
@cmndll
@cmndll 4 жыл бұрын
Parabéns pela série. Excelente a sua didática.
@pgdinamica
@pgdinamica 4 жыл бұрын
Obrigada!
@jonanthanaquino1953
@jonanthanaquino1953 4 жыл бұрын
Show de bola . Didática muito boa...
@mahalreis5413
@mahalreis5413 5 жыл бұрын
Muito bom. Sempre elevando o nível
@pgdinamica
@pgdinamica 5 жыл бұрын
Obrigada! ☺️
@caiofernandes5074
@caiofernandes5074 4 жыл бұрын
ótima serie!! a playlist ta de tras pra frente, e tem video fora da serie porfavor ajeitem
@pgdinamica
@pgdinamica 4 жыл бұрын
Obrigado pelo toque, vamos ajeitar!
@douglera_
@douglera_ 3 жыл бұрын
Muito obrigado por compartilhar seus conhecimentos!
@cristianoltfs
@cristianoltfs 4 жыл бұрын
Excelente conteúdo. Obs.: no tempo 14:30, distGestante.sum(), não seira, distInGestatne.sum() ? Obrigado!
@analuciademoraislimalucial6039
@analuciademoraislimalucial6039 3 жыл бұрын
Canal maravilhosos e conteúdos incríveis!!
@pgdinamica
@pgdinamica 3 жыл бұрын
Muito obrigado 😊
@franklimmaciel
@franklimmaciel 2 жыл бұрын
Infelizmente o INEP removeu todos os dados anteriores, ora disponibilizados e muito bem detalhados, houve mudanças significativas, tornando os dados menos transparentes. tentei usar a base disponível (apenas 2020 está disponível), tem muitas colunas faltantes, alem de estar mais compacto no sentido da informação, a título de exemplo, as idades não são mais exibidas, temos agora apenas a faixa etária, e o campo GESTANTES não existe mais, entre outros, ou seja, das 136 colunas que estavam presentes nas bases anteriores, agora temos apenas 76. Que triste isso!
@pgdinamica
@pgdinamica 2 жыл бұрын
Muito triste Robson!
@bbiossonic
@bbiossonic 4 жыл бұрын
parabéns pelo trabalho, sensacional!
@lilianefajardo178
@lilianefajardo178 4 жыл бұрын
Excelente. meus parabéns novamente !!!
@renanpompeu7955
@renanpompeu7955 4 жыл бұрын
O arquivo microdadosEnem é muito grande e sobrecarrega o desktop. Seria interessante que fizesse a análise de um arquivo menor para evitar o problema citado.
@Konolu2009
@Konolu2009 4 жыл бұрын
Sim, é melhor dividir em menores partes para testar
@danielarf4409
@danielarf4409 4 жыл бұрын
É bom apresentar datasets como esse para quem estiver aprendendo perceber como funciona na vida realmente.
@evanildoc39
@evanildoc39 3 жыл бұрын
Parabéns pela explicação, excelente.
@comojogarnajungle462
@comojogarnajungle462 9 ай бұрын
Ajudoumuito Kizzy!! Obrigada!
@pgdinamica
@pgdinamica 9 ай бұрын
De nada!
@leonardobrasil7032
@leonardobrasil7032 4 жыл бұрын
Muito bom o video. Parabéns e continue sempre !!
@pgdinamica
@pgdinamica 4 жыл бұрын
Obrigada! 😊
@thiagolimasilva4733
@thiagolimasilva4733 3 жыл бұрын
Muito maneiro! Parabéns!
@pgdinamica
@pgdinamica 3 жыл бұрын
Obrigada!
@hollowcsd
@hollowcsd Жыл бұрын
Faz no vscode, por favor !
@noceunaotempao
@noceunaotempao 3 жыл бұрын
muito obrigado.
@pgdinamica
@pgdinamica 3 жыл бұрын
De nada 🙌🏾
@3016carlos
@3016carlos 4 жыл бұрын
Parabéns pelo excelente vídeo.
@pgdinamica
@pgdinamica 4 жыл бұрын
Obrigada!
@luishenrrique34
@luishenrrique34 4 жыл бұрын
Muito bom. Foi direto ao ponto, obrigado!
@pgdinamica
@pgdinamica 4 жыл бұрын
Valeu Luís!
@leonardopereira7650
@leonardopereira7650 3 жыл бұрын
Fui acompanhando e fazendo, porém tive um erro nesta parte que não consegui solucionar. percentInGestante = [100*x/distInGestante.sum() for x in distInGestante] AttributeError: 'list' object has no attribute 'sum'
@joabe1207
@joabe1207 4 жыл бұрын
Excelente vídeo, parabéns!
@pgdinamica
@pgdinamica 4 жыл бұрын
Valeu!
@carolbastoscb
@carolbastoscb 3 жыл бұрын
Uma dúvida... Quando fazemos o cálculo percentual, como fazemos para imprimir na tela a informação correspondente aquele percentual? Por exemplo... Chegamos no percentual de homens e mulheres, mas como impriminos essa informação (homnes , mulheres) na tela atrerladas ao número percentual?
@pgdinamica
@pgdinamica 3 жыл бұрын
Oi Carol, precisamos fazer uma formatação para imprimir, como por exemplo: print(*(map('{}: {}'.format, ['homens', 'mulheres'], porcentagemHM)), sep=" ")
@vvilela72
@vvilela72 2 жыл бұрын
Oi Kizzy! Sabe se existe uma base ou alguém já classificou cada questão do Enem no nível de conteúdo e não somente nos níveis de competência e habilidade? Ex.: no mapa de referência do Enem tem competência (MAT) e habilidades (ex.: H2 - H2 - Identificar padrões numéricos ou princípios de contagem), mas não diz se questão é por PIM, combinatória, etc). Valeu!
@ViniciusOliveira-ec1si
@ViniciusOliveira-ec1si 5 жыл бұрын
Série muito boa!
@pgdinamica
@pgdinamica 5 жыл бұрын
Valeu Vinícius!
@infinitycoffe
@infinitycoffe 3 жыл бұрын
É possível disponibilizar esses resultados das análises em uma API que retorna JSON? O Jupyter permite isso?
@pgdinamica
@pgdinamica 3 жыл бұрын
É possível, mas não via jupyter, você tem que criar um servidor para isso 😉
@victornunestoscano
@victornunestoscano 4 жыл бұрын
Excelente vídeo!
@rafaelgouvea1203
@rafaelgouvea1203 4 жыл бұрын
Para validação seria necessário verificar . Quantas gestantes do sexo masculino. Para sair em diante .. as seguintes análises.. São dados e não natureza. Lista e vídeos ótimos parabéns!!!
@pgdinamica
@pgdinamica 4 жыл бұрын
Perfeito Rafael! É exatamente isso 👏🏾
@tatianecorrea4002
@tatianecorrea4002 4 жыл бұрын
Muito bom seu canal!! Obrigada!!
@pgdinamica
@pgdinamica 4 жыл бұрын
🖤🖤☺️
@majubarbosa8452
@majubarbosa8452 3 жыл бұрын
eu tento visualizar o histograma do minuto 9:20 mas quando eu rodo da `kernel died`. Ja verifiquei se estou importando correto e aparentemente sim... alguem tem ideia do que pode ser?
@djbokinha
@djbokinha 3 жыл бұрын
oi linda. td bem? adoro suas aulas. Estou com uma situação aqui. Depois de extrair os dados e formatar da forma que queria eu preciso direcionar isso por um programa de mensagens. Tipo um whatsapp. Porem não consigo por a informação formatada por inteira. Quando eu envio da forma que vem o csv ele envia, pra cada linha, uma mensagem. Pra varias linhas fica muitas msg e acaba sendo cansativo. Sabe me dar uma dica do que posso testar e me direcionar ? Obrigado e parabéns!!!
@pgdinamica
@pgdinamica 3 жыл бұрын
Oi Carlos, vc chama seus professores de "lindo" 🙁?
@liberato2904
@liberato2904 3 жыл бұрын
Oi, você ainda tem esse notebook pra disponibilizar? obrigado!
@joaovictorvasconcellos3986
@joaovictorvasconcellos3986 2 жыл бұрын
rainha
@WiltonCabral
@WiltonCabral 3 жыл бұрын
Muito Bom ! Parabéns! Quais as desvantagem de fazer esta analise de dados "micro dados Enen " usando o Google Colab ? Qual configuração ideal de um PC ( notebook ) e devo comprar para realizar estas análises, estudos etc ? Grato Wilton
@pgdinamica
@pgdinamica 3 жыл бұрын
Nenhuma desvantagem ;)
@gersntos
@gersntos 3 жыл бұрын
Kizzy, você consegue fazer uma regressão linear com esses dados através do python? método de mínimos quadrados ordinários
@marcioalexandre7610
@marcioalexandre7610 4 жыл бұрын
Usar tantas variáveis com datasets tão grandes não sobrecarrega a memória? Como você diz no fim do vídeo, há outras formas de fazer. Mas minha pergunta é sobre a ocupação da memória mesmo. E, novamente, obrigado e parabéns pelos vídeos!!
@vonbruhh
@vonbruhh 5 жыл бұрын
Vocês são cientistas de dados, né? Estou fazendo Eng. de Software, mas meu objetivo é a Data Science. Ainda sou iniciante na área, mas pretendo estudar pelos vídeos de vocês, a didática é muito boa.
@pgdinamica
@pgdinamica 5 жыл бұрын
Oi! Somos graduados em Eng de Computação :) eu fiz mestrado em matemática aplicada à modelagem de dados e o Hallison em matemática com ênfase em computação gráfica. Ser um bom engenheiro dá uma boa base para muitas especialidades, então aprenda o máximo que puder e depois Data Science será um caminho mais tranquilo a ser trilhado ;)
@eliasoliveira9418
@eliasoliveira9418 3 жыл бұрын
Muito bom 👏🏾👏🏾👏🏾
@viniciusmatos2515
@viniciusmatos2515 3 жыл бұрын
Keezy, muito obrigado pelos tutoriais tem me ajudado muito. Eu sou analista educacional e peguei os microdados para estudar quais fatores implicam na nota do ENEM. Eu selecionei apenas os fatores de idade,sexo, ano de conclusão do aluno, cor, os dados da escola, as notas e o questionario socioeconômico. A minha pergunta é: como faço para tratar os 'NAS' nas notas do ENEM? Eu excluo as linhas com o drop.na() - tendo em vista que se há NA em algumas das notas possivelmente o aluno não fez a prova ou há outra maneira para eu tratar essas informações ??? Desde já agradeço
@pgdinamica
@pgdinamica 3 жыл бұрын
Depende do NA, esses das notas, faz sentido excluir, mas outros, faz mais sentido substituir ou preencher com valor estimado 😉
@samuelnogueira2454
@samuelnogueira2454 3 жыл бұрын
Melhora a performance e consumo da memoria se sumarizar os dados no sql e utilizar o python apenas apenas para analise final dos registros?
@pgdinamica
@pgdinamica 3 жыл бұрын
Melhora sim Samuel, tem apenas que ver o custo-benefício, para quem já domina sql provavelmente valerá a pena 😉
@lucas404x
@lucas404x 4 жыл бұрын
Conteúdo muito bom!! Uma dúvida: e se eu usasse técnicas de amostragem para fazer a análise desses dados? Seria viável também ou eu obrigatoriamente devo análisar todas as linhas?
@pgdinamica
@pgdinamica 4 жыл бұрын
Pode utilizar sim... tudo depende do seu objetivo 😉
@minka866
@minka866 Жыл бұрын
Eu queria somente analizar minhas notas. Como seria o comando?
@user-ns3zg1cx6l
@user-ns3zg1cx6l Жыл бұрын
Olá, Kizzy. Excelente conteúdo! Porém, estou com uma dúvida. Quando baixei os microdados, não vieram com algumas colunas, como as da sua base. Não vieram as que iniciam com IN, por exemplo: Gestante, Lactante, Deficiência Auditiva. O que devo fazer?
@pgdinamica
@pgdinamica Жыл бұрын
O governo anterior resolveu remover algumas informações dos microdados. Você poderia solicitar os dados ao INEP com alguma justificativa e talvez eles te forneçam, mas fora isso não tem muito o que fazer no momento.
@user-ns3zg1cx6l
@user-ns3zg1cx6l Жыл бұрын
@@pgdinamica , que pena! Muito obrigado pelo retorno, Kizzy!!!
4 жыл бұрын
Kezzy, parabéns pelo conteúdo! Sou usuário Linux Mint 32 bits e não consigo de jeito nenhum instalar matplotlib. Na verdade, passei um trabalhão pra instalar o Python 3.8.2. Aí quando tento checar a versão, me retorna 2.7 😪
@pgdinamica
@pgdinamica 4 жыл бұрын
Oi! Não funciona quando você usa o comando python3 -version ?
@CalangoBit
@CalangoBit 4 жыл бұрын
Ótimo vídeo! Não tem como negar a facilidade de trabalhar nesse ecossistema, mas gostaria de saber se tem algo nesse dataset que não seja possível fazer utilizando um SGBD tipo MySQL.
@pgdinamica
@pgdinamica 4 жыл бұрын
Oi Dirceu, muito pertinente o seu comentário. Em termos de sistemas "em produção" os SGBDs ainda tem muito valor, algumas coisas que se faz no Pandas, são mais otimizadas em um SGBD. O Pandas serve, principalmente, para lidar com dados que não estão em um banco de dados. Ele facilita que a gente analise um extrato de dados em csv, por exemplo, sem precisar subir os dados em um BD. Mas, se os dados já estão no banco, muitas vezes, é mais recomendado utilizar queries para manipulá-los. Esse artigo faz uma discussão interessante sobre isso: medium.com/carwow-product-engineering/sql-vs-pandas-how-to-balance-tasks-between-server-and-client-side-9e2f6c95677
@CalangoBit
@CalangoBit 4 жыл бұрын
@@pgdinamica Entendi. Essa colocação me fez lembrar do exemplo dos dados real time despejados por uma turbina de avião para que seja detectada uma falha. De fato, toda a engenharia por trás do SGBD seria muito custosa! Obrigado pela atenção!
@Leeticiaraujo
@Leeticiaraujo 4 жыл бұрын
@@pgdinamica Kizzy, eu estou aprendendo e carreguei um arquivo de ~34 Milhões de linhas no Jupyter Notebook com Pandas operações de soma e qnt de linhas não rodaram. Fiz o mesmo com o SQLite e rodou bem mais rápido, tem alguma forma que poderia ser mais rápido no Python? Ou isso é uma limitação dele mesmo? Muito Obrigada me sinto representada pelo seu canal!
@rodrigomelges3604
@rodrigomelges3604 4 жыл бұрын
Se vc colocar colocar o parâmetro normalize=True vc já obtém o percentual: serie.value_counts(normalize=True)
@pgdinamica
@pgdinamica 4 жыл бұрын
Boa!
@sielerod
@sielerod 4 жыл бұрын
Estou querendo unir os dados do Enem ao longo dos anos, mas acabo estourando a memória na hora de tentar processar os dados ...alguma dica do q devo fazer?
@pedrohilton984
@pedrohilton984 3 жыл бұрын
OI. É possivel ver a resolução dos itens da prova nos microdados ?
@pgdinamica
@pgdinamica 3 жыл бұрын
sim Pedro 😉
@pedrohilton984
@pedrohilton984 3 жыл бұрын
@@pgdinamica Obrigado por responder. Queria ver a resolução de linguagens para estudar melhor, mas não consegui achar .
@arthurdneto
@arthurdneto 3 жыл бұрын
Ola @kizzyterra e @hallpaz vocês teriam algum curso ou pensam fechar alguma turma para dar um curso ?
@pgdinamica
@pgdinamica 3 жыл бұрын
Oi Arthur, temos sim, e estamos planejando novos cursos para 2021. Em qual tema você está interessado?
@arthurdneto
@arthurdneto 3 жыл бұрын
@@pgdinamica Tenho interesse em Python e Machine Learning. Como faço para ser avisado com antecedencia ?
@carlosrobertomartins3025
@carlosrobertomartins3025 3 жыл бұрын
Oi Kizzi, não consegui abrir os microdados. Devo salvar os arquivos zipados em que lugar? Devo criar uma pasta dentro do meu ambiente virtual, ou pode ser em qualquer outro lugar?
@pgdinamica
@pgdinamica 3 жыл бұрын
Olá, o local não importa desde que você passe o caminho correto do arquivo.
@pgdinamica
@pgdinamica 3 жыл бұрын
caso tenha dúvidas, temos um vídeo aqui no canal sobre caminhos de arquivos ;)
@jhonnyjesuino5589
@jhonnyjesuino5589 3 жыл бұрын
Olá, fiquei muito interessado em estudar ciencias de dados , mas quero iniciar em cursos online gratis , eu não conheço essa área mas queria saber um curso online gratis com facilidade de ensinar ...
@pgdinamica
@pgdinamica 3 жыл бұрын
Oi, Jhonny! Pode começar seguindo está playlist desde o começo: kzfaq.info/sun/PL5TJqBvpXQv5N3iV68bGBkea0HjMk98lR Uma dica é usar o Google Colab para programar: kzfaq.info/get/bejne/ldN5qtZyl8rIg5c.html Agora, caso você ainda não saiba programar em Python, recomendamos escolher e seguir um destes recursos primeiro: 1. Introdução ao Python por Projetos: kzfaq.info/sun/PL5TJqBvpXQv6AEfVymby32MinHdxZA-8J 2. Lógica de Programação em Python (curso apresentado no vídeo): kzfaq.info/get/bejne/op2cfLOJztCcZX0.html 3. Nosso curso (pago) Python do Jeito Certo: kzfaq.info/get/bejne/a7lzm6Rey5-mlIU.html
@jesus1519
@jesus1519 3 жыл бұрын
Parabéns pelo vídeo. Mas, o áudio está MUITO baixo.
@pgdinamica
@pgdinamica 3 жыл бұрын
Obrigada! Os mais recentes têm áudio melhor
@giovanesilveiradasilveira994
@giovanesilveiradasilveira994 4 жыл бұрын
Devido ao fato do arquivo ser muito grande, como eu faria para que o Jupyter Notebook carregasse somente os dados referentes ao Rio de Janeiro?
@pgdinamica
@pgdinamica 4 жыл бұрын
Oi Giovane, é possível selecionar colunas específicas ou linhas em determinado ponto do arquivo, mas não será possível filtrar apenas o Rio de Janeiro antes de importar. O que eu recomendo é que você use o Google Colab para abrir o arquivo normalmente e exportar apenas os dados do Rio de Janeiro para usar na sua máquina local.
@giovanesilveiradasilveira994
@giovanesilveiradasilveira994 4 жыл бұрын
@@pgdinamica , nossa! Super fica! Por gentileza, faz um vídeo mostrando esse processo, please!
@carlosrobertomartins3025
@carlosrobertomartins3025 3 жыл бұрын
Em tempo, estou usando windows 10.
@pgdinamica
@pgdinamica 3 жыл бұрын
ainda com problemas?
@ronaldomarcolino7415
@ronaldomarcolino7415 Жыл бұрын
Top
@viniciusgama9652
@viniciusgama9652 4 жыл бұрын
maravilhoso os videos, eu passei meu dia todo nesses três vídeos, quando eu abro o arquivo csv fica todo desconfigurado dizendo que só tem uma coluna, só aconteceu isso comigo?
@pgdinamica
@pgdinamica 4 жыл бұрын
tem a ver com o separador do arquivo csv, como você está fazendo a leitura? coloca aqui a linha do código.
@viniciusgama9652
@viniciusgama9652 4 жыл бұрын
@@pgdinamica import pandas as pd enem_dados = pd.read_csv("brutos/DADOS/MICRODADOS_ENCCEJA_2018_REG_NAC.csv", sep = ";", encoding = 'ISO-8859-1') enem_dados.head()
@viniciusgama9652
@viniciusgama9652 4 жыл бұрын
@@pgdinamica tipo eu peguei os dados do enceja porque são menores, muda o separador ? também peguei dados do covid-19 e deu o mesmo erro.
@viniciusgama9652
@viniciusgama9652 4 жыл бұрын
@@pgdinamica Obrigado foi só por uma virgula
@V1S3C
@V1S3C 4 жыл бұрын
Existe algum motivo particular para usar o jupyter e não colaboratory?
@pgdinamica
@pgdinamica 4 жыл бұрын
Oi Victor, boa pergunta! O Colab é muito bom, inclusive já indiquei em vídeo aqui no canal. Não uso apenas pela preferência por fazer tudo localmente na minha maquina, mais nada ;)
@TheShinigami99
@TheShinigami99 5 жыл бұрын
Show!
@pgdinamica
@pgdinamica 4 жыл бұрын
🤙🏾
@rhuanjardim6069
@rhuanjardim6069 Жыл бұрын
@ycarobatalha4215
@ycarobatalha4215 3 жыл бұрын
Como é simples fazer histograma... chocada
@pgdinamica
@pgdinamica 3 жыл бұрын
pois é, pois é, haha
@juliolimajsp
@juliolimajsp 4 жыл бұрын
Pra quem está REALMENTE acompanhando o vídeo, fica complicado, dentre mais de cem colunas, deixar somente algumas, no olho...
@pgdinamica
@pgdinamica 4 жыл бұрын
Oi Júlio, caso tenha sugestões de como podemos melhorar fique a vontade 😉 no mais agradecemos por acompanhar o nosso conteúdo!
@unnamednoaddress.2343
@unnamednoaddress.2343 3 жыл бұрын
Quanto ganha hoje um Cientista de Dados em Início de carreira numa média empresa?
@pgdinamica
@pgdinamica 3 жыл бұрын
📌www.glassdoor.com.br/Salários/cientista-de-dados-salário-SRCH_KO0,18.htm
@danielcastagna1299
@danielcastagna1299 4 жыл бұрын
A proposta é boa mas o conjunto de dados é muito grande, leva 30 min para carregar. É possível carregar apenas uma parte do CSV?
@pgdinamica
@pgdinamica 4 жыл бұрын
Oi Daniel, é possível sim, inclusive fiz um vídeo mostrando como: Abrindo um dataset MUITO GRANDE no Pandas| Respondendo comentários #2 | Análise de dados #14 kzfaq.info/get/bejne/mKlmhJyGyJ6UiKs.html
@epabenites7311
@epabenites7311 Жыл бұрын
Portanto, analista de dados, inicialmente é que dominar a ferramenta!
@pgdinamica
@pgdinamica Жыл бұрын
Tudo começa no pensamento crítico e raciocínio lógico 😉
O poder do GROUPBY (pacote Pandas)| Análise de dados #4
10:54
Programação Dinâmica
Рет қаралды 31 М.
Como Manipular Arquivos em Python | Python do Jeito Certo 2.0
19:44
Programação Dinâmica
Рет қаралды 6 М.
A little girl was shy at her first ballet lesson #shorts
00:35
Fabiosa Animated
Рет қаралды 20 МЛН
A teacher captured the cutest moment at the nursery #shorts
00:33
Fabiosa Stories
Рет қаралды 61 МЛН
Manipulando Dataframe do Pandas | Análise de dados #5
20:30
Programação Dinâmica
Рет қаралды 28 М.
Por que eu prefiro morar de aluguel
15:08
Eitonilda
Рет қаралды 64 М.
Valores, Memória, Tipos de Dados e Variáveis | Python do Jeito Certo 2.0
26:04
Programação Dinâmica
Рет қаралды 7 М.
Introdução ao Matplotlib | Gráficos em Python | Análise de dados #7
14:10
Programação Dinâmica
Рет қаралды 25 М.
Analisando Dados Ausentes nos Microdados do ENEM no Google Colab
14:50
Programação Dinâmica
Рет қаралды 6 М.
Introdução ao PYTHON e Como PROGRAMAR do JEITO CERTO | Python do Jeito Certo 2.0
16:30
A little girl was shy at her first ballet lesson #shorts
00:35
Fabiosa Animated
Рет қаралды 20 МЛН