Airflow Operators. Операторы в Airflow

  Рет қаралды 135

NOdata Миша

NOdata Миша

Ай бұрын

Рассказываю про примеры использования PythonOperator, BashOperator и PostgresOperator
Другие видео уроки по Airflow и не только plastic-caption-0a9.notion.si...
Тг канал t.me/datamisha
* Параметр dag в операторы передавать не нужно

Пікірлер: 2
@АлексейП-л7ь
@АлексейП-л7ь Ай бұрын
Привет, Михаил! Спасибо за видео! Чуть не понял одного: есть операторы для Airflow, которые умеют в SQL. Но я думал, что все операции мы выполняем уже внутри таска, например, Load, где мы пишем логику: 1) Получаем данные из предыдущего таска (например, таска Transform) 2) Предположим, мы хотим, чтобы при повторном запуске записи за предыдущий день затирались, вместо которых загружались новые (типичная инкрементная загрузка). Получается, что в таске Load прописывается "DELETE FROM schm.table where dt = :date_to_delete" и там же прописывается with engine.connect() as conn: и так далее, которое по пути удаляет записи и загружает командой df.to_sql(.. .. .. ..). Я к тому, что для чего в этом случае нужны именно что отдельные sql-таски, если база является, по сути, просто конечной точкой? И хотелось бы видео про способы передачи данных между тасками. Хуки, файлы и так далее. Спасибо! :)
@NOdatamisha
@NOdatamisha Ай бұрын
Привет! По поводу передачи файлов: по xcom есть видео на бусти boosty.to/nodata_misha/posts/a56f75f2-02e4-4eac-a6d5-a8c67f59aaee но возможно что-то и на ютуб выпущу Не много не понял по вашему комментарию, но если я правильно понял, то можно например сделать так: В первой таске Получаем данные и передаем их во вторую таску, которая может как раз является Postgres оператором, в который мы просто передаем 2 sql кода (удаляем вчерашние, загружаем сегодняшние), можно наверное даже в одном передать
لااا! هذه البرتقالة مزعجة جدًا #قصير
00:15
One More Arabic
Рет қаралды 13 МЛН
小蚂蚁被感动了!火影忍者 #佐助 #家庭
00:54
火影忍者一家
Рет қаралды 32 МЛН
哈莉奎因以为小丑不爱她了#joker #cosplay #Harriet Quinn
00:22
佐助与鸣人
Рет қаралды 7 МЛН
Amazing weight loss transformation !! 😱😱
00:24
Tibo InShape
Рет қаралды 66 МЛН
NiFi на простом примере
14:42
NOdata Миша
Рет қаралды 220
Как работают Telegram-боты?
9:52
Merion Academy
Рет қаралды 20 М.
Я теперь data engineer
11:19
NOdata Миша
Рет қаралды 279
Полиморфизм на практике
10:42
ExtremeCode
Рет қаралды 178 М.
Airflow на простом примере
9:53
NOdata Миша
Рет қаралды 2,6 М.
Кто такой Data Engineer?
8:50
NOdata Миша
Рет қаралды 246
Java vs C++: что выбрать?
12:39
Sergey Nemchinskiy
Рет қаралды 214 М.
لااا! هذه البرتقالة مزعجة جدًا #قصير
00:15
One More Arabic
Рет қаралды 13 МЛН