Viagem no tempo com Apache Spark
12:02
Snowflake vs Redshift
1:45
Жыл бұрын
O que é Terraform?
1:08
Жыл бұрын
Apache Spark no Mundo Financeiro
1:21
Programação na área financeira
1:32
Пікірлер
@flenderish
@flenderish 11 сағат бұрын
Ao rodar esse comando: #usar database spark.sql('USE covid') #criar tabela spark.sql(""" CREATE TABLE IF NOT EXISTS br_covid USING DELTA LOCATION '/mnt/azuredatabricks2024/silver/br_covid' """) Da o seguinte erro: [RequestId=7e23f71f-b015-4ff4-b843-3a9c7463635b ErrorClass=INVALID_PARAMETER_VALUE] GenerateTemporaryPathCredential uri /mnt/azuredatabricks2024/silver/br_covid is not a valid URI. Error message: INVALID_PARAMETER_VALUE: Missing cloud file system scheme.
@asafetexoficial
@asafetexoficial Күн бұрын
Fala professor, tudo bem? Vim do seu video de Ia no mercado financeiro e gostaria que voce me desse um norte. Desejo seguir pra area de Dados ( ENG ou Ciencia) focados em finanças e economia mas nao sei pra onde seguir. Tenho formação em gestão financeira e tenho proeficiencia em Excel, um pouco de BI, finanças e contabilidade geral e estatística. Comececi estudando pra analista de dados que é um caminho e comprei um curso de Python. E estou fazendo isso estudando pra ser analista de dados e pegando python de pouco em pouco. Mas meu sonho é ser cientista de dados e focar em trading quantitativo e redes neurais com machine laeraning, Voce pode me dar um plano? Eu nao faço ideia pra onde seguir. Gotaria que ciencia de dados fosse meu emprego, mas de hobby gostaria de criar meus proprios sistema de trading e quam sabe isso virasse um negocio tbm.
@gutierres98
@gutierres98 2 күн бұрын
Top demais
@jacksonoliveira9181
@jacksonoliveira9181 6 күн бұрын
Muito bom parabéns! Estou estudando para Certificação e em curso preparatórios tmb.... Obrigado pelas dicas!
@Codifike
@Codifike 6 күн бұрын
Obrigado
@lucascarlos1604
@lucascarlos1604 6 күн бұрын
Opa uma dúvida não relacionada exatamente com o vídeo. Tenho um ambiente azure onde utilizo databricks e para repositório o azure devops. Quando é necessário fazer atualizações/implantações o pessoal cria um branch baseada na main, faz o commit e cria o PR para as outras braches. Estou procurando um meio de implementar testes nesse processo do pipeline no azure devops, antes do merge ser feito fazer uma validação de sintaxe como um todo e algumas regras de negócio simples. Tem alguma recomendação de conteúdo para isso? Obrigado
@Codifike
@Codifike 6 күн бұрын
voce pode PyTest para escrever testes que verificam os outputs esperados de suas transformações de dados: 1- Crie scripts de teste que validem suas regras de negócio com um notebook 2- Configure seu azure-pipelines.yml para rodar os testes.por exemplo: trigger: - main pool: vmImage: 'ubuntu-latest' variables: DATABRICKS_HOST: '<your-databricks-workspace-url>' DATABRICKS_TOKEN: '<your-databricks-personal-access-token>' DATABRICKS_CLUSTER_ID: '<your-databricks-cluster-id>' NOTEBOOK_PATH: '/Workspace/Users/<your-username>/validation_notebook' steps: - checkout: self - task: UsePythonVersion@0 inputs: versionSpec: '3.x' addToPath: true - script: | pip install databricks-cli databricks configure --token <<EOF ${DATABRICKS_HOST} ${DATABRICKS_TOKEN} EOF displayName: 'Configure Databricks CLI' - script: | databricks runs submit --json "{\"run_name\":\"Syntax and Business Rules Validation\",\"existing_cluster_id\":\"${DATABRICKS_CLUSTER_ID}\",\"notebook_task\":{\"notebook_path\":\"${NOTEBOOK_PATH}\"}}" displayName: 'Run Validation Notebook' - script: | run_id=$(databricks runs list --output JSON | jq -r '.runs[] | select(.state.life_cycle_state == "TERMINATED") | .run_id' | head -n 1) databricks runs get --run-id $run_id --output JSON | jq -r '.state.result_state' displayName: 'Check Validation Result' continueOnError: false
@gohanmineiro
@gohanmineiro 9 күн бұрын
num treinou b0sta nenhuma, só préprocessou. Cai na desse comédia não, galera
@banga1989
@banga1989 9 күн бұрын
Uma dúvida, vc fez tratamento das tabelas originais da B3, pois para mim apareceram vários campos do preço , de abertura e preço máximo como campo NAN (not a Number).E no seu video esses campos já aparecem com valores
@banga1989
@banga1989 9 күн бұрын
Encontrei o erro eu havia feito como pd.to_numeric o tratamento e vc usou como float os seus campos
@gutierres98
@gutierres98 10 күн бұрын
Professor tudo bem? Quando vc faz o upload dos arquivos e comenta que "na sua empresa ja vai vir pronto" vc quer dizer por exemplo um processo de Apache Airflow? sou novato e estou tentando encaixar as ideias
@Codifike
@Codifike 10 күн бұрын
O que eu quis dizer foi que provavelmente na sua empresa, o arquivo que será processado, já estará no diretório ou em algum local específico para o seu processo de etl executar. No exemplo do vídeo eu fiz esse processo de upload manual, mas isso será feito de maneira automática. O airflow será poderá ser usado para orquestrar cada passo do processo.
@wendel7795
@wendel7795 10 күн бұрын
é o mesmo esquema com o Scikit-learn? to aprendendo scikit learn (o basico) pra predição de churn, e queria ver a logica de como é feita pra implementar meus estudos.
@viniciusdias7921
@viniciusdias7921 12 күн бұрын
Eu consigo usar tudo de engenharia de dados com WSL no windows?
@victor.sntw1
@victor.sntw1 12 күн бұрын
Caso eu opte por usar em máquinas diferentes o servidor e cliente no LOCALHOST coloco endereço ip do Gateway?
@frankpessoa
@frankpessoa 12 күн бұрын
queria fazer um para comprar e vender bitcoin
@vasconcelosjean42
@vasconcelosjean42 14 күн бұрын
tem algum livro que eu possa estar usando para me aprofundar nesses assuntos de bigdata?
@vitorlsoares
@vitorlsoares 15 күн бұрын
Eu poderia ao invés de criar uma coluna dummy pra yes e uma outra pra no, simplesmente trocar yes por 1 e no por 0, cortando o número de colunas pela metade?
@Codifike
@Codifike 15 күн бұрын
Sim com certeza
@Lucas-uq4yn
@Lucas-uq4yn 15 күн бұрын
Em que momento o arquivo apareceu nos documentos?
@carlosoliveira9150
@carlosoliveira9150 16 күн бұрын
Tem cupom de desconto para o curso?
@joseluizdurigon8893
@joseluizdurigon8893 18 күн бұрын
O postgres que foi criado foi dentro do container que está rodando o airflow? Eu estou tentando conectar o meu postgresql (nao o que vem nativo no airflow, mas sim o banco que estou usando em minhas aplicações) no airflow, porém ele me retorna sempre a mesma mensagem :"connection to server at "127.0.0.1", port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections?" O meu postgresql database roda local na minha máquina windows; o airflow roda dentro de um container no docker.
@regilenemariano9244
@regilenemariano9244 15 күн бұрын
Oi, conseguiu resolver? A conexão é pra ser simples e funcionar. No Airflow, em admn>connection>host coloca 'host.docker.internal', Database: teste login:airflow pasword: airflow porta: 5432 no teu pgadmin (postgres) cria o server teste, connection: hostname: localhost username: airflow senha: airflow cria o databse: database: teste owner: airflow isso ai é pra funcionar. verifica se as portas estão certas. se o postgres ta rodando, o airflo o docker, tudo rodando. se não funcionar ver se eles estão se comunicando. no docker: docker run -it --rm --network airflow_default postgres:13 psql -h host.docker.internal -U airflow -d teste no postgres local:psql -h localhost -U airflow -d teste Se não for nada disso, pode ser preciso adicionar a linha no pg_hba.conf.(c:/postgres>versao>data) esse arquivo pg_hba.conf controla quaisos endereços IP podem se conectar ao PostgreSQL. Adiciona essa ultima linha no pg_hba.conf: host all all 127.0.0.1/32 md5 salva, reinicia e ve se vai.
@DaviSombras
@DaviSombras 18 күн бұрын
o video de 22 de nov. de 2021 acertou que ia cair em dezembro de 2021
@gabrielhbritooliveira3848
@gabrielhbritooliveira3848 19 күн бұрын
da pra mudar a voz pra por voz de homem?
@thyalldgreville7861
@thyalldgreville7861 19 күн бұрын
Conteúdo de ótima qualidade
@luizmneto7
@luizmneto7 20 күн бұрын
é possivel criar uma aplicação ruby com um banco de dados mysql já existente com dados?
@swnerd4080
@swnerd4080 22 күн бұрын
Esse vídeo é muito bom, continue assim! 👏🏾
@antoniofolha9052
@antoniofolha9052 23 күн бұрын
oi boa noite vi o vídeo gostei muito como conseguir um programa desse com você?
@Codifike
@Codifike 23 күн бұрын
Na descrição tem o link para o treinamento python para finanças onde mostro esse e outras técnicas e todas tem o código
@brunoalexandre2153
@brunoalexandre2153 25 күн бұрын
Muito bom! Como eu posso fazer o deploy em um servidor pago tipo (hostinger) e acesso só com senha? tem como? Se tiver isso no curso me avise por favor.
@studiowork-j1r
@studiowork-j1r 25 күн бұрын
👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏 EXCELENTE TUTORIAL , MESTRE!!!!!
@meire_luce
@meire_luce 26 күн бұрын
Estou estudando para fazer um projeto de extensão utilizando o spark. E esse vídeo ajudou muito!
@meire_luce
@meire_luce 26 күн бұрын
Seria legal um vídeo sobre a instalação e configuração do spark e um sobre a criação de um código.
@GhostHype-on4gf
@GhostHype-on4gf 27 күн бұрын
O meu tá dando erro nos sr.
@guilhermecarva
@guilhermecarva 28 күн бұрын
Muito bom como sempre. Seria de grande ajuda sim um vídeo de como fazer o deploy no streamlit cloud.
@eversondesda6846
@eversondesda6846 28 күн бұрын
So query dificil
@CrazyModaFok
@CrazyModaFok 28 күн бұрын
Funcionou muito bem, conteúdo ótimo. Consigo fazer com que o scraping acesse a página de cada produto e traga certas informações que só tem na página do produto?
@Codifike
@Codifike 28 күн бұрын
sim, mas tem que analisar a pagina e verificar extamente onde esta a informação que vc quer buscar.
@DrRevLuisdeOliveira
@DrRevLuisdeOliveira 28 күн бұрын
excelente
@cristianofernandes531
@cristianofernandes531 29 күн бұрын
Bacaca, muito obrigado pelas dicas, tem algum cupom de desconto do curso?
@Codifike
@Codifike 28 күн бұрын
Olá Acesse nosso zap que podemos verificar chat.sendbot.co/mentoria-codifike
@reinaldonery2905
@reinaldonery2905 29 күн бұрын
Oi! Não estou sabendo baixar a versão chromedriver para o mac os pela página de download oficial, não encontro a opção de download.
@pedroar9
@pedroar9 Ай бұрын
Muito bom, deu uma ótima clareada sobre o assunto. Não teria como incluir o link para o mesmo arquivo que utilizou nos exemplos?
@marcosdasilva7409
@marcosdasilva7409 Ай бұрын
ESP32 suporta esse Sketch..?
@carlosmartinserp
@carlosmartinserp Ай бұрын
Bom dia meu amigo ? como identifico o caminha da primeira_thumb pelo inspecionar ? é o mesmo caminho idependente da conta ? Obrigado !
@lucianoPontes
@lucianoPontes Ай бұрын
O que eu faço se essa última página não tiver como inteiro? rodei um aqui e ficou [4] que é o texto, mas não consigo transformar isso em número...
@Codifike
@Codifike 16 сағат бұрын
Int(4)
@ChristyannAlikeSantosMes-oo3or
@ChristyannAlikeSantosMes-oo3or Ай бұрын
Fiz tudo igual ao vídeo e ele não reconhece o comando speak. NameError: name 'speak' is not defined
@Codifike
@Codifike Ай бұрын
Tem no código no meu github fabrimatt
@OrhanErol-ru6nw
@OrhanErol-ru6nw Ай бұрын
Obrigado, Avanco Social! Melhor site para comprar seguidores
@darkhill
@darkhill Ай бұрын
Muito bom. Esclareceu muita coisa e ainda mostrou uma forma de trabalhar com pyspark diferente do que aprendi.
@JoaoVictor-rn1yz
@JoaoVictor-rn1yz Ай бұрын
E rodar vídeos? Como faz?
@Jhontrue
@Jhontrue 27 күн бұрын
Descobriu a resposta da sua pergunta João?
@ChristyannAlikeSantosMes-oo3or
@ChristyannAlikeSantosMes-oo3or Ай бұрын
Poderia refazer este vídeo novamente? Porém, mais atualizado.
@madalenasimaobango2204
@madalenasimaobango2204 Ай бұрын
Estou a gostar, fui recomendada este vídeo no meu assistente de IA. Gostei muito. Minha dúvida: Este ticket que geramos aqui, é o mesmo que é usado em ticket de serviços comerciais para identificação de um problema? Por exemplo em armazéns de venda de produtos a retalho.
@rafaelrodsan
@rafaelrodsan Ай бұрын
nos salvou
@atradv
@atradv Ай бұрын
Olá mestre. Assim como já comentado aqui, também tenho um banco de dados em excel que preciso alimentar ele quase diariamente, busco os dados em alguns sites, depois preciso por o resultado desses dados na planilha novamente. Você já informou que é possível automatizar isso, mas eu preciso de alguém que desenvolva isso pra mim. É possível automatizar isto. Vc poderia me atender? aguardo contato. Obrigado.
@theeasymoneyguide
@theeasymoneyguide Ай бұрын
Por que nao escrever em portugues? 😂
@wmvga
@wmvga Ай бұрын
Qual este software você está usando para edição do código?
@wmvga
@wmvga Ай бұрын
É possível usar este sistema para escrever o código de um robô conectado ao esp32? por exemplo: Use o seu sensor de temperatura e ascenda o led tal quando chegar na temperatura tal?
@MGLCONCURSOS
@MGLCONCURSOS Ай бұрын
Muito bom