Nesse vídeo irei apresentar uma das melhores ferramentas de ETL do mercado de Big Data | Engenharia de Dados. O Data Factory é um serviço codeless gerenciado pela Microsoft Azure, completo e intuitivo, o qual permite a conexão em + de 80 fontes de dados diferentes!
Não é preciso programar!
Contexto:
Uma das principais tarefas de um Engenheiro de Dados é a realização de ETL (Extract Transform and Load) ou ELT (Extract Load and Transform).
Com a evolução da tecnologia na última década, surgiu um novo conceito chamado DataLake, que basicamente descreve um repositório de dados altamente escalável, capaz de armazenar petabytes de dados nos mais variados formatos possíveis.
Atualmente a maioria das organizações utilizam DataLakes como Single Source of Truth (SSOT) ou, Única fonte da Verdade, uma vez que ele serve de repositório central de dados. Porém, para que esses repositórios se mantenham atualizados, é necessário garantir as atualizações dos dados vindos das fontes (banco de dados, arquivos, aplicações etc...).
Geralmente esse processo de extração, transformação e carregamento de dados é chamado de ETL. Hoje em dia, existem diversas empresas que provem ferramentas e soluções de ETL, tanto Open Source, quanto em Nuvem.
===============================================
Siga-me nas redes sociais:
Instagram: @bigdatamasters
LinkedIn: / vitor-henrique97