No video

Writing data from an API to a database with Python

  Рет қаралды 10,325

Renato Coelho

Renato Coelho

2 жыл бұрын

In another video of mine here on Canal I taught how to access an address API with Python, now I'm going to teach you how to record this data obtained via API in a database using Python. To better understand the context of this application proposed here, I suggest watching my video where I teach how to access an API with the help of Python.
Current video GitHub:
github.com/Ren...
Previous video:
• Acessando uma API com ...
GitHub from the previous video:
github.com/Ren...
Databases supported by SQLAlchemy:
docs.sqlalchem...

Пікірлер: 37
@Kleber_Moreira
@Kleber_Moreira Жыл бұрын
Mano esse vídeo salvou a meu dia!!!! Valeu pela disposição em compartilhar conhecimento.
@renato-coelho
@renato-coelho Жыл бұрын
Fico muito feliz. Grande abraço.
@nicolasguimaraes2502
@nicolasguimaraes2502 2 жыл бұрын
Ganhou um inscrito, era o que eu precisava na minha api
@renato-coelho
@renato-coelho 2 жыл бұрын
Fico feliz por te ajudado, Nicolas. Grande abraço.
@rangelhenriquefialhodemour2517
@rangelhenriquefialhodemour2517 Жыл бұрын
Que vídeo maneiro! Espero que consiga muitos inscritos, brother.
@renato-coelho
@renato-coelho Жыл бұрын
Que bom que gostou, Rangel. Grande abraço.
@lucaspereiragomesdebrito1920
@lucaspereiragomesdebrito1920 2 жыл бұрын
Muito bom mesmo Renato, obrigado pelas dicas!!
@renato-coelho
@renato-coelho 2 жыл бұрын
Obrigado, Lucas.
@OculoseBinoculos
@OculoseBinoculos 2 жыл бұрын
Fantástico Renato!!! Eu estava precisando de uma solução parecida e rápida então usei o pentaho pra isso e o problema é que o projeto ficaria com um software inteiro como dependência. Valew demais! Vou implementar e te falo.
@renato-coelho
@renato-coelho 2 жыл бұрын
Fico aguardando. Grande abraço Amauri.
@ReDeveloperr
@ReDeveloperr 5 ай бұрын
Top exatamente o q preciso
@renato-coelho
@renato-coelho 5 ай бұрын
Que bom que ajudou.
@alexandredomingos9883
@alexandredomingos9883 Жыл бұрын
Parabéns Renato, vídeo excelente me ajudou a resolver um problema, mas tive q aplicar está solução em outra API, mas não tive êxito pois gerou a mensagem "sqlalchemy.exc.ProgrammingError: (psycopg2.ProgrammingError) can't adapt type 'dict'", estou à algum tempo estudando uma solução mas está complicado, mas sua solução funciona perfeitamente........Parabéns mais uma vez....
@renato-coelho
@renato-coelho Жыл бұрын
Fico feliz que te ajudou, Alexandre. Grande abraço.
@1a1project
@1a1project 2 жыл бұрын
Top, ganhou um inscrito.
@renato-coelho
@renato-coelho 2 жыл бұрын
Que bom que gostou Eliel. Grande abraço.
@pedrodealmeida6041
@pedrodealmeida6041 Жыл бұрын
Primeiramente excelente vídeo Renato, obrigado pelo conteúdo. Você tem algum vídeo onde utiliza o verbo POST passando parâmetros no campo Authorization?
@renato-coelho
@renato-coelho Жыл бұрын
Olá, Pedro. Fico feliz que tenha gostado do conteúdo do vídeo, então, para fazer um vídeo com essa temática tenho que conseguir uma API de exemplo que necessite desse parâmetro ‘Authorization’ ou que eu desenvolva internamente uma nessa condição, estou planejando fazer algo nesse sentido. Vou adicionar esse assunto no meu roteiro de gravações. Não sei se vai te ajudar, mas para executar uma requisição POST com parâmetro Authorization, você deve adicionar aos Headers da requisição seu Authorization. Seria algo como: requests.post("", headers={"Content-Type": "application/json", “Authorization”: “”}). Grande Abraço.
@alemichelman
@alemichelman 7 ай бұрын
Renato, tudo bem??? eu quero integrar uma API feita com python com o Conta azul, alguma dica??? quero integrar para extrair os dados financeiros, depois de armazena-los irei plotar em Power BI.
@renato-coelho
@renato-coelho 7 ай бұрын
Tudo bem, a dica que dou é verificar se API da conta azul tem paginação, isso vai impactar no processo de armazenamento evitando duplicidade nos dados. Além disso, o uso da lib requests e quando falamos de banco de dados o MySQL é uma solução simples de usar. Grande abraço.
@diogocosta4099
@diogocosta4099 7 ай бұрын
Otimo video, boa noite! Só fiquei c uma dúvida: e se eu quiser a base toda dos ceps do Brasil ao invés de ceps específicos? Quiser pegar a base toda pela API e gravar inteira no banco, é possivel?
@renato-coelho
@renato-coelho 7 ай бұрын
Boa noite, acho pouco provável você conseguir isso, pois esse serviço já deixa claro no rodapé do site deles que eles não disponibilizam a sua base de CEPs e se você criar um bot para pegar todos CEPs eles vão bloquear seu IP. Outras APIs também funcionam assim permitindo somente o acesso unitário.
@diogocosta4099
@diogocosta4099 7 ай бұрын
​@@renato-coelhoobrigado!
@progamandocomyasmin-data6278
@progamandocomyasmin-data6278 Жыл бұрын
Renato, tudo bom? Uma dúvida quando é uma API que sempre tem novas informações, como prosseguir a programação?
@renato-coelho
@renato-coelho Жыл бұрын
Tudo bom, Yasmin. Dependendo das particularidades da API em questão em muitos casos é necessário ao final da URL da API adicionar o parâmetro "?offset=". Esse parâmetro é responsável por recuperar em uma nova requisição somente os novos dados (ou a partir dali), mas em muitos casos vc tem que fazer a gestão desse número de offset para não capturar os mesmos dados que foram capturados em requisições anteriores. Sugiro entender melhor como esse parâmetro se comporta na sua API de consulta, e pesquisar um pouco mais sobre o conceito de offset que te ajudará a recuperar os dados da maneira que vc quer. Grande abraço.
@lencastre8132
@lencastre8132 2 жыл бұрын
Parabéns Pelo Vídeo! Tem como usar um Arquivo local como Bancos de Dados?
@renato-coelho
@renato-coelho 2 жыл бұрын
Obrigado, Lencastre. Tem sim nesse caso vc pode usar o SQLite3, aí é só faz uma mudança na URL de conexão para se conectar com o novo banco.
@lencastre8132
@lencastre8132 2 жыл бұрын
@@renato-coelho Eu gostaria de adicionar os Dados em um arquivo TXT na pasta local.
@renato-coelho
@renato-coelho 2 жыл бұрын
Então, nesse caso vc pode usar o método to_csv do pandas em substituição do to_sql, aí vc vai conseguir gravar um arquivo local com os dados. Exemplo: to_csv("arquivo.txt", sep=";")
@gabrielaraujo8388
@gabrielaraujo8388 2 жыл бұрын
Como eu extrair mais de 10000 Dados, no caso de uma API com muitos registros, e gravar esses dados em um banco?
@renato-coelho
@renato-coelho 2 жыл бұрын
Dá uma olhada na documentação do Pandas no método "to_sql" tem o parâmetro "chunksize" ele possibilita gravar esses dados em lotes que vc define a quantidade. Isso é útil pois não sobrecarrega o branco de dados. Abraço.
@rcost28
@rcost28 9 ай бұрын
Eu estou buscando dados de uma Api, se eu quiser que os dados n se replicam eu usaria replace?
@renato-coelho
@renato-coelho 9 ай бұрын
Dependerá da estratégia de armazenamento que você estiver utilizando. Se você estiver sempre adicionando novos dados, é necessário fazer esse controle. No entanto, se você carregar tudo a cada nova execução, não será necessário esse cuidado. Outro ponto importante é verificar se a API que você está utilizando suporta paginação, nesse caso, ela deve ser usada na estratégia de armazenamento.
@rcost28
@rcost28 9 ай бұрын
@@renato-coelho estou usando swagger com flask, mas na hora trazer os dados pro banco ele esta apenas trazendo dados de uma api externa, e eu estou chamando dados de duas apis. Criei um dataframe pra cada uma e uma conexao pra cada, mas ele só chama a ultima conexao e traz os dados apenas dessa api referente a ultima conexao
@renato-coelho
@renato-coelho 9 ай бұрын
Não sei se você está usando o método do pandas to_sql, mas usa ele pra testar a gravação no banco e ver se vai gravar de forma correta, se não gravar vai ser algum problema na criação dos dataframes.
@rcost28
@rcost28 9 ай бұрын
@@renato-coelho estou usando esse metodo to_sql, o q faltou foi eu definir colunas nas duas apis com msm nome, pq eu pude usar o recurso .merge pra unir as duas tabelas na msm linha. Deu certo aqui, mas vlw, seu video me ajudou muito irmao...
@renato-coelho
@renato-coelho 9 ай бұрын
@rcost28 fico feliz que tenha te ajudado.
Analyzing data with Jupyter and Pandas #Jupyter #Pandas #Python
14:48
How to Deploy a Flask App and Postgres Database to Render
16:39
Pretty Printed
Рет қаралды 45 М.
EVOLUTION OF ICE CREAM 😱 #shorts
00:11
Savage Vlogs
Рет қаралды 14 МЛН
Fast and Furious: New Zealand 🚗
00:29
How Ridiculous
Рет қаралды 48 МЛН
Gradle tutorial for complete beginners
24:48
Tom Gregory Tech
Рет қаралды 213 М.
Banco de Dados & Peewee ORM em Python (em 10 minutos)
13:31
Programador Python
Рет қаралды 9 М.
Web Scraping to CSV | Multiple Pages Scraping with BeautifulSoup
29:06
Debugging Containers in Docker
6:45
COURSE PLEASE
Рет қаралды 3
دستورات شرطی if,elif,else
10:55
Tekguys
Рет қаралды 52
Pull data from API using Python
6:27
The BI Hub
Рет қаралды 39 М.
تعریف لیست در پایتون
10:06
Tekguys
Рет қаралды 24