ROADMAP / DATA ENGINEER

Рет қаралды 26,273

2 жыл бұрын

В видео мы поговорим о разработчиках больших данных. А точнее - разберем roadmap дата инженера в 2021 году.
Гогин Артем, опытный разработчик больших данных, расскажет, какие навыки необходимы для старта карьеры в больших данных, и на чем необходимо сосредоточиться для продвижения по карьерной летнице.
Описаный roadmap поможет новичкам сосредоточиться на актуальных и востребованных технологиях, а опытным разарботчикам систематизировать свои знания и, возможно, обратить внимание на новые области.
ПОЛЕЗНЫЕ ССЫЛКИ
Roadmap - drive.google.com/file/d/1l_C9...
DWH schema - drive.google.com/file/d/1acs3...
ГДЕ С НАМИ ПООБЩАТЬСЯ
⚡️Школа онлайн-образования: loftschool.com/
⚡️Telegram Loftblog: t-do.ru/loftblog
⚡️Telegram IT-обучение: t-do.ru/it_loft
⚡️Группа вконтакте: loftblog
Поставь лайк! Больше лайков - лучше выпуски :)

Пікірлер: 45

@ScampSkin Жыл бұрын

Отличный темп подачи материала. Хоть в эту сферу и не собираюсь идти, но всё равно было приятно случать человека, который не мычит\причмокивает\зависает, а выдаёт готовый материал беглой манерой речи.

@user-fr3qy8hi8k 2 жыл бұрын

Полезный обзор! Спасибо!

@seniorqa_auto5367 4 күн бұрын

Самый понятный роадмап! Спасибо. Рассчитывал найти курс для DATA ENGINEER, а курса на платформе нет (((((. Где курс? )

@_natalipost 2 жыл бұрын

Спасибо, информативное видео.

@user-cf7bs9uj9n 2 жыл бұрын

Обзор огонь! Спасибо огромное, очень наглядно и понятно.

@alexgubin78 2 жыл бұрын

Очень информативное видео. Подскажите пожалуйста, на каком уровне нужно знать джаву/питон? У меня есть опыт написание программ на джаве, но не совсем мне понятно, что нужно подучить, чтобы выполнять работу ДЕ

@ibrahimgadzhimagomedov8978 2 жыл бұрын

Спасибо за видео!

@andredavy2200 2 жыл бұрын

Ёмко и по существу!

@hopelesssuprem1867 2 жыл бұрын

учусь на ML и сейчас стал встречать часто в вакансиях тоже знание спарка, понимание ETL и т.д., в общем, планка с каждым годом только растет и растет)

@Leha_from_Zavod 7 ай бұрын

Сейчас я в процессе обучения ML, также заинтересовала сфера big data но узнал что последнее сейчас умирает в связи с тем что AI & ML могут почти полностью заменить ее Насколько это правда, и если так, то действительно от дата инженера будет требоваться тот же Спарк или hadoop в современных реалиях?

@hopelesssuprem1867 7 ай бұрын

@@Leha_from_Zavod хадуп и спарк всегда использовались в дата инжениринге т.к. это инструменты для обработки больших данных. С дата инженирингом все будет норм: данных становится все больше и кто-то должен обрабатывать их инфраструктуру.

@Leha_from_Zavod 5 ай бұрын

⁠@@hopelesssuprem1867вспомнил после чего у меня такое опасение сложилось - статья на Хабре «большие данные мертвы», Увидел что много комментариев которые поддерживают посыл автора и думал что тенденции развития биг даты сейчас посредственные)

@olgafedyanova 2 жыл бұрын

Ну оооочень круто сделано

@iMan-ql4gx 2 ай бұрын

Хорошее объяснение. Было бы познавательно увидеть какое практическое видео из реальной работы . Например, создание пайплайна.

@sardorislomov5485 2 жыл бұрын

норм видос, спасибо

@timikys2 2 жыл бұрын

Спасибо за полезное видно! Артем, какой язык порекомендуете учить для DE Java или Python? Есть цель переезда в США, когда смотрел варианты увидел, что большинство вакансий там на Python. В отличии от России/Европы где достаточно много Java/Scala. Какие из Российских компаний лучше подходят чтобы прокачаться в направлении DE?

@artemgogin1129 2 жыл бұрын

Я бы в любом случае начинал с Python. Это поможет сосредоточиться на технологиях и базах данных и не сильно отвлекаться на ЯП. Другой язык можно выучить позже, тем более глубоко знать язык обычно не требуется, поэтому опыт нескольких лет разработки не потребуются на собеседованиях.

@saniyasarik8355 Жыл бұрын

@@artemgogin1129 подскажите а какие технологии вы имеете ввиду? Я знаю SQL, python. А вы имеете ввиду Kafka, Hadoop Spark?

@DurezaSPb 2 жыл бұрын

Интересное видео, спасибо! Однако, по своему опыту, оставило в недоумении. Я вот только устроился на джуна. Было много собеседований. Так вот, некоторые из вопросов на эту позицию были ровно из тех, что вы показали для джуна, но примерно треть-половина - это из тех, что вы причислили к миддлу и даже сеньору (оконные функции, кафка, спарк-стриминг и спарк вообще, имплиситы в скале и паттерн-мэтчинг и много чего ещё). Это мне не повезло? Или сейчас планка, чтобы просто пойти и сделать первую джуниорскую таску, стала выше?

@pavelorlov9884 2 жыл бұрын

Скорее повысили планку, у меня точно такая же история)

@user-mu2gz3eu7h 2 жыл бұрын

А где профессию осваивал?

@olgafedyanova 2 жыл бұрын

так во всех профессиях айти. От джуна хотят уровень мидлов.

@user-zo5wo8et8d Жыл бұрын

а ЗП на джуна тоже повысили?

@mazanka412 9 ай бұрын

Боюсь представить как спустя год поднялась планка

@GhostlyDream Жыл бұрын

Полезное видео, но забавно, что в большинстве вакансий на джуна требуются знания, которые в данном видео позиционируются как сеньоровские) не нашел ни одной вакансии Junior Data Engineer без знания Hadoop, Spark, Kafka и NoSQL вместе)

@simon0295 2 жыл бұрын

Хороший обзор! Подскажите, как найти первую DE работу? По знаниям jun+

@VasArkady Жыл бұрын

Сходить на несколько десятков собесов и взять со всех фидбек

@kirillnovikov7925 Жыл бұрын

Я вот учусь на Java developer. Java, SQL, Git и алгоритмы уже знаю на достаточном (по этому родмэпу) уровне для устройства Джун Data Engineer, но в разработке я ещё не близко к первой вакансии. Я все вообще правильно понял? Может ещё что-то нужно знать Data Engineer?

@vor6758 9 ай бұрын

Мой вам совет: просто откликайтесь на вакансии, где ваши знания соответствуют хотя на 50% от требований вакансии. Для тех компаний, которые вам больше понравились напишите сопроводительное письмо. В нем опишите свой опыт, чем нравится их компания/вакансия и что вы хотите провести с ними интервью

@wordpreslabs 2 жыл бұрын

Подскажите пожалуйста, в каком софте схемы для презентации сделаны?)

@artemgogin1129 2 жыл бұрын

Miro

@ermano5586 5 ай бұрын

А давай теперь курсы и материалы для изучения

@playtech5 2 жыл бұрын

Здравствуйте! Спасибо за видео! Как получить этот роадмап?

@nikolaydolgopolov621 2 жыл бұрын

В описании к видео ссылки.

@dmitriyobidin6049 2 жыл бұрын

Из вашего личного опыта - насколько ЗП дата инженеров отличаются от зарплат разработчиков? Не будешь ли чувствовать, что сделал не правильный выбор, перейдя в Биг Дату? Сейчас работаю энтерпрайз разработчиком и хочется перейти в биг дату, но немного пугает тот факт, что потолок зарплат может быть заметно ниже.

@avtomat2423 11 ай бұрын

Как ваши дела? Перешли на другую специальность?

@Leha_from_Zavod 7 ай бұрын

Можете ответить как в итоге решили?