Ao rodar esse comando: #usar database spark.sql('USE covid') #criar tabela spark.sql(""" CREATE TABLE IF NOT EXISTS br_covid USING DELTA LOCATION '/mnt/azuredatabricks2024/silver/br_covid' """) Da o seguinte erro: [RequestId=7e23f71f-b015-4ff4-b843-3a9c7463635b ErrorClass=INVALID_PARAMETER_VALUE] GenerateTemporaryPathCredential uri /mnt/azuredatabricks2024/silver/br_covid is not a valid URI. Error message: INVALID_PARAMETER_VALUE: Missing cloud file system scheme.
@asafetexoficialКүн бұрын
Fala professor, tudo bem? Vim do seu video de Ia no mercado financeiro e gostaria que voce me desse um norte. Desejo seguir pra area de Dados ( ENG ou Ciencia) focados em finanças e economia mas nao sei pra onde seguir. Tenho formação em gestão financeira e tenho proeficiencia em Excel, um pouco de BI, finanças e contabilidade geral e estatística. Comececi estudando pra analista de dados que é um caminho e comprei um curso de Python. E estou fazendo isso estudando pra ser analista de dados e pegando python de pouco em pouco. Mas meu sonho é ser cientista de dados e focar em trading quantitativo e redes neurais com machine laeraning, Voce pode me dar um plano? Eu nao faço ideia pra onde seguir. Gotaria que ciencia de dados fosse meu emprego, mas de hobby gostaria de criar meus proprios sistema de trading e quam sabe isso virasse um negocio tbm.
@gutierres982 күн бұрын
Top demais
@jacksonoliveira91816 күн бұрын
Muito bom parabéns! Estou estudando para Certificação e em curso preparatórios tmb.... Obrigado pelas dicas!
@Codifike6 күн бұрын
Obrigado
@lucascarlos16046 күн бұрын
Opa uma dúvida não relacionada exatamente com o vídeo. Tenho um ambiente azure onde utilizo databricks e para repositório o azure devops. Quando é necessário fazer atualizações/implantações o pessoal cria um branch baseada na main, faz o commit e cria o PR para as outras braches. Estou procurando um meio de implementar testes nesse processo do pipeline no azure devops, antes do merge ser feito fazer uma validação de sintaxe como um todo e algumas regras de negócio simples. Tem alguma recomendação de conteúdo para isso? Obrigado
@Codifike6 күн бұрын
voce pode PyTest para escrever testes que verificam os outputs esperados de suas transformações de dados: 1- Crie scripts de teste que validem suas regras de negócio com um notebook 2- Configure seu azure-pipelines.yml para rodar os testes.por exemplo: trigger: - main pool: vmImage: 'ubuntu-latest' variables: DATABRICKS_HOST: '<your-databricks-workspace-url>' DATABRICKS_TOKEN: '<your-databricks-personal-access-token>' DATABRICKS_CLUSTER_ID: '<your-databricks-cluster-id>' NOTEBOOK_PATH: '/Workspace/Users/<your-username>/validation_notebook' steps: - checkout: self - task: UsePythonVersion@0 inputs: versionSpec: '3.x' addToPath: true - script: | pip install databricks-cli databricks configure --token <<EOF ${DATABRICKS_HOST} ${DATABRICKS_TOKEN} EOF displayName: 'Configure Databricks CLI' - script: | databricks runs submit --json "{\"run_name\":\"Syntax and Business Rules Validation\",\"existing_cluster_id\":\"${DATABRICKS_CLUSTER_ID}\",\"notebook_task\":{\"notebook_path\":\"${NOTEBOOK_PATH}\"}}" displayName: 'Run Validation Notebook' - script: | run_id=$(databricks runs list --output JSON | jq -r '.runs[] | select(.state.life_cycle_state == "TERMINATED") | .run_id' | head -n 1) databricks runs get --run-id $run_id --output JSON | jq -r '.state.result_state' displayName: 'Check Validation Result' continueOnError: false
@gohanmineiro9 күн бұрын
num treinou b0sta nenhuma, só préprocessou. Cai na desse comédia não, galera
@banga19899 күн бұрын
Uma dúvida, vc fez tratamento das tabelas originais da B3, pois para mim apareceram vários campos do preço , de abertura e preço máximo como campo NAN (not a Number).E no seu video esses campos já aparecem com valores
@banga19899 күн бұрын
Encontrei o erro eu havia feito como pd.to_numeric o tratamento e vc usou como float os seus campos
@gutierres9810 күн бұрын
Professor tudo bem? Quando vc faz o upload dos arquivos e comenta que "na sua empresa ja vai vir pronto" vc quer dizer por exemplo um processo de Apache Airflow? sou novato e estou tentando encaixar as ideias
@Codifike10 күн бұрын
O que eu quis dizer foi que provavelmente na sua empresa, o arquivo que será processado, já estará no diretório ou em algum local específico para o seu processo de etl executar. No exemplo do vídeo eu fiz esse processo de upload manual, mas isso será feito de maneira automática. O airflow será poderá ser usado para orquestrar cada passo do processo.
@wendel779510 күн бұрын
é o mesmo esquema com o Scikit-learn? to aprendendo scikit learn (o basico) pra predição de churn, e queria ver a logica de como é feita pra implementar meus estudos.
@viniciusdias792112 күн бұрын
Eu consigo usar tudo de engenharia de dados com WSL no windows?
@victor.sntw112 күн бұрын
Caso eu opte por usar em máquinas diferentes o servidor e cliente no LOCALHOST coloco endereço ip do Gateway?
@frankpessoa12 күн бұрын
queria fazer um para comprar e vender bitcoin
@vasconcelosjean4214 күн бұрын
tem algum livro que eu possa estar usando para me aprofundar nesses assuntos de bigdata?
@vitorlsoares15 күн бұрын
Eu poderia ao invés de criar uma coluna dummy pra yes e uma outra pra no, simplesmente trocar yes por 1 e no por 0, cortando o número de colunas pela metade?
@Codifike15 күн бұрын
Sim com certeza
@Lucas-uq4yn15 күн бұрын
Em que momento o arquivo apareceu nos documentos?
@carlosoliveira915016 күн бұрын
Tem cupom de desconto para o curso?
@joseluizdurigon889318 күн бұрын
O postgres que foi criado foi dentro do container que está rodando o airflow? Eu estou tentando conectar o meu postgresql (nao o que vem nativo no airflow, mas sim o banco que estou usando em minhas aplicações) no airflow, porém ele me retorna sempre a mesma mensagem :"connection to server at "127.0.0.1", port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections?" O meu postgresql database roda local na minha máquina windows; o airflow roda dentro de um container no docker.
@regilenemariano924415 күн бұрын
Oi, conseguiu resolver? A conexão é pra ser simples e funcionar. No Airflow, em admn>connection>host coloca 'host.docker.internal', Database: teste login:airflow pasword: airflow porta: 5432 no teu pgadmin (postgres) cria o server teste, connection: hostname: localhost username: airflow senha: airflow cria o databse: database: teste owner: airflow isso ai é pra funcionar. verifica se as portas estão certas. se o postgres ta rodando, o airflo o docker, tudo rodando. se não funcionar ver se eles estão se comunicando. no docker: docker run -it --rm --network airflow_default postgres:13 psql -h host.docker.internal -U airflow -d teste no postgres local:psql -h localhost -U airflow -d teste Se não for nada disso, pode ser preciso adicionar a linha no pg_hba.conf.(c:/postgres>versao>data) esse arquivo pg_hba.conf controla quaisos endereços IP podem se conectar ao PostgreSQL. Adiciona essa ultima linha no pg_hba.conf: host all all 127.0.0.1/32 md5 salva, reinicia e ve se vai.
@DaviSombras18 күн бұрын
o video de 22 de nov. de 2021 acertou que ia cair em dezembro de 2021
@gabrielhbritooliveira384819 күн бұрын
da pra mudar a voz pra por voz de homem?
@thyalldgreville786119 күн бұрын
Conteúdo de ótima qualidade
@luizmneto720 күн бұрын
é possivel criar uma aplicação ruby com um banco de dados mysql já existente com dados?
@swnerd408022 күн бұрын
Esse vídeo é muito bom, continue assim! 👏🏾
@antoniofolha905223 күн бұрын
oi boa noite vi o vídeo gostei muito como conseguir um programa desse com você?
@Codifike23 күн бұрын
Na descrição tem o link para o treinamento python para finanças onde mostro esse e outras técnicas e todas tem o código
@brunoalexandre215325 күн бұрын
Muito bom! Como eu posso fazer o deploy em um servidor pago tipo (hostinger) e acesso só com senha? tem como? Se tiver isso no curso me avise por favor.
Estou estudando para fazer um projeto de extensão utilizando o spark. E esse vídeo ajudou muito!
@meire_luce26 күн бұрын
Seria legal um vídeo sobre a instalação e configuração do spark e um sobre a criação de um código.
@GhostHype-on4gf27 күн бұрын
O meu tá dando erro nos sr.
@guilhermecarva28 күн бұрын
Muito bom como sempre. Seria de grande ajuda sim um vídeo de como fazer o deploy no streamlit cloud.
@eversondesda684628 күн бұрын
So query dificil
@CrazyModaFok28 күн бұрын
Funcionou muito bem, conteúdo ótimo. Consigo fazer com que o scraping acesse a página de cada produto e traga certas informações que só tem na página do produto?
@Codifike28 күн бұрын
sim, mas tem que analisar a pagina e verificar extamente onde esta a informação que vc quer buscar.
@DrRevLuisdeOliveira28 күн бұрын
excelente
@cristianofernandes53129 күн бұрын
Bacaca, muito obrigado pelas dicas, tem algum cupom de desconto do curso?
@Codifike28 күн бұрын
Olá Acesse nosso zap que podemos verificar chat.sendbot.co/mentoria-codifike
@reinaldonery290529 күн бұрын
Oi! Não estou sabendo baixar a versão chromedriver para o mac os pela página de download oficial, não encontro a opção de download.
@pedroar9Ай бұрын
Muito bom, deu uma ótima clareada sobre o assunto. Não teria como incluir o link para o mesmo arquivo que utilizou nos exemplos?
@marcosdasilva7409Ай бұрын
ESP32 suporta esse Sketch..?
@carlosmartinserpАй бұрын
Bom dia meu amigo ? como identifico o caminha da primeira_thumb pelo inspecionar ? é o mesmo caminho idependente da conta ? Obrigado !
@lucianoPontesАй бұрын
O que eu faço se essa última página não tiver como inteiro? rodei um aqui e ficou [4] que é o texto, mas não consigo transformar isso em número...
@Codifike16 сағат бұрын
Int(4)
@ChristyannAlikeSantosMes-oo3orАй бұрын
Fiz tudo igual ao vídeo e ele não reconhece o comando speak. NameError: name 'speak' is not defined
@CodifikeАй бұрын
Tem no código no meu github fabrimatt
@OrhanErol-ru6nwАй бұрын
Obrigado, Avanco Social! Melhor site para comprar seguidores
@darkhillАй бұрын
Muito bom. Esclareceu muita coisa e ainda mostrou uma forma de trabalhar com pyspark diferente do que aprendi.
@JoaoVictor-rn1yzАй бұрын
E rodar vídeos? Como faz?
@Jhontrue27 күн бұрын
Descobriu a resposta da sua pergunta João?
@ChristyannAlikeSantosMes-oo3orАй бұрын
Poderia refazer este vídeo novamente? Porém, mais atualizado.
@madalenasimaobango2204Ай бұрын
Estou a gostar, fui recomendada este vídeo no meu assistente de IA. Gostei muito. Minha dúvida: Este ticket que geramos aqui, é o mesmo que é usado em ticket de serviços comerciais para identificação de um problema? Por exemplo em armazéns de venda de produtos a retalho.
@rafaelrodsanАй бұрын
nos salvou
@atradvАй бұрын
Olá mestre. Assim como já comentado aqui, também tenho um banco de dados em excel que preciso alimentar ele quase diariamente, busco os dados em alguns sites, depois preciso por o resultado desses dados na planilha novamente. Você já informou que é possível automatizar isso, mas eu preciso de alguém que desenvolva isso pra mim. É possível automatizar isto. Vc poderia me atender? aguardo contato. Obrigado.
@theeasymoneyguideАй бұрын
Por que nao escrever em portugues? 😂
@wmvgaАй бұрын
Qual este software você está usando para edição do código?
@wmvgaАй бұрын
É possível usar este sistema para escrever o código de um robô conectado ao esp32? por exemplo: Use o seu sensor de temperatura e ascenda o led tal quando chegar na temperatura tal?