Основи роботи з Kafka з Павлом Вейником

Рет қаралды 43,020

2 жыл бұрын

Павло Вейник про основи роботи з Kafka: messaging, найпростіший код, короткий огляд функціоналу + корисні посилання та ресурси.
📌Про спікера:
🔹Павло - Java-розробник з 2003, лід з 2008, CTO c 2016.
🔹Досвід роботи як у стартапах, так і ентерпрайзах.
🔹Проводить навчання з 2008 року (Java та архітектура).
🔹На даний момент працює на посаді архітектора в EPAM, а також є засновником і CEO центру IT-навчання "Hard & Soft Skills".
Павло Вейник: / veinik
Курс із Kafka від спікера: hardsoftskills.by/kafka_essen...
Інші курси: hardsoftskills.by/
Interview - Done! FB: groups/inter...
Interview - Done! t.me: t.me/interview_done
Катя: / katerynavoronkina
Тая: / taisiia
Влада: / vlada-liashchenko
email: ytb@interviewdone.com
Презентація: docs.google.com/presentation/...
Посиланняи:
Разгортування Kafka: habr.com/ru/post/543732/
Що почитати:
www.enterpriseintegrationpatt...
dzone.com/articles/kafka-arch...
www.confluent.io/blog/set-up-...
habr.com/ru/post/543732/
kafka.apache.org/documentation/
www.confluent.io/kafka-vs-pul...
www.confluent.io/blog/set-up-...
kafkatool.com/download.html
habr.com/ru/company/southbrid...
logz.io/blog/kafka-vs-redis/ logz.io/blog/kafka-logging/
otonomo.io/redis-kafka-or-rab...
kafka-summit.org/sessions/ooy...
Kafka vs Rabbit MQ
otonomo.io/redis-kafka-or-rab...
betterprogramming.pub/rabbitm...
www.upsolver.com/blog/kafka-v...
habr.com/ru/company/itsumma/b...
Kafka vs Pulsar
www.confluent.io/kafka-vs-pulsar
digitalis.io/blog/kafka/apach...
www.kai-waehner.de/blog/2020/...
habr.com/ru/company/southbrid...
Відмовостійкість Kafka
tech.ebayinc.com/engineering/...
www.infoq.com/articles/resili...
Kafka Transactions
www.confluent.io/blog/transac...
itnext.io/kafka-transaction-5...
chrzaszcz.dev/2019/12/kafka-t...
Data Science & Kafka
www.analyticsvidhya.com/blog/...
www.datasciencecentral.com/pr...
🙌 Детальніше про рекрутингове агентство Talando: talando.com/
E-mail: info@talando.com
Найм по світу +44 (7539) 032 190
Найм в Україні +38 (063) 060 40 10
Підписуйтесь на новини нашої команди в наступних соц.мережах:
LinkedIn: / talando-recruitment
Facebook: / talandorec
Instagram: / talando_tech
Clutch: clutch.co/profile/talando#hig...
Компанії партнери:
Allmatics - Your IT solutions: allmatics.com/
Wandify: wandify.io/en
Fresh Start by Joakim Karud / joakimkarud
Creative Commons - Attribution-ShareAlike 3.0 Unported- CC BY-SA 3.0
Free Download / Stream: bit.ly/_fresh-start
Music promoted by Audio Library • Fresh Start - Joakim K...

Пікірлер: 43

@KonstantinShibkov 2 жыл бұрын

Отличное объяснение и наглядный пример! Спасибо!

@Halfbloodimus 2 жыл бұрын

Подача супер, особенно спасибо за список ссылок.

@user-rl7cq2bh2f 2 жыл бұрын

Самое лучшее видео по kafka👍разложили прям все по полочкам

@ildarvalitov2568 Жыл бұрын

Спасибо за ваш труд и воможность его увидеть =)

@user-wt6fv4dl3b Жыл бұрын

Спасибо! Отличная лекция!

@romankonovalov2588 9 ай бұрын

крутой мужик, доступно рассказал

@zvuk3316 2 жыл бұрын

Всё классно объяснил. Спасибо!

@davitkostandyan5103 Жыл бұрын

The best of best video about Kafka. Thanks!

@boban7814 Жыл бұрын

спасибо интересно было

@VasillaRobocraft 10 ай бұрын

думаю стоило упомянуть, что выход из kafka console producer осуществляется командой ctrl + c

@konstb8304 5 ай бұрын

49:20 Ожидаемое поведение консьюмеров. После закрытия окна консьюмер продолжает работать в контейнере и читать сообщения. Если явно завершить работу консьюмера через ctrl+c, то ожидаемая перебалансировка произойдет.

@deds_deds_deds 2 жыл бұрын

Золото!!!!!!

@user-dk9wl7jr4h 2 жыл бұрын

Спасибо

@outlaw4Iife Жыл бұрын

У меня только один консьюмер из группы считавет сообщения(

@dimasamsonau3646 2 жыл бұрын

Ооо, хоть где-то я увидел код! а то все только пиздят и пиздят.... СПасибо тебе человек!)

@Rostik13.96 8 ай бұрын

Soft skills

@mikhail6694 2 жыл бұрын

неплохо

@user-zh6ei3xh8f Жыл бұрын

Чтобы увеличить количество партиций /bin/kafka-topics --bootstrap-server localhost:9092 --alter --topic demo-topic --partitions 3

@eduardmart1237 Жыл бұрын

А какие размеры сообщений в кафке могут быть? Я так понимаю файлы туда засовывать не очень хорошая идея?

@andreykoba 10 ай бұрын

1Мб по умолчанию, большие файлы вроде как оф дока не рекомендует пихать

@user-uj4ld1sj8r Жыл бұрын

Подскажите, пожалуйста, а есть ли такая настройка, при которой consumer на которого не достается партиции, читает какую либо партицию? Например: в топике 3 партиции, а консьюмеров 4

@andreykoba 10 ай бұрын

такого нет и об этом было в видео, он будет либо ничего не делать либо подколючится к работе когда отвалится один из работающих консюмеров. для увеличения параллелизма нужно увеличить количество партиций.

@NickMukhin Жыл бұрын

Теперь я понял смысл слогана "Мы рождены, чтоб Kafka сделать былью".

@vladyslavdziadevych969 2 жыл бұрын

Где взять код из видео?

@InterviewDone 2 жыл бұрын

Его нет в доступе к сожалению - был доступен только во время "живого" вебинара.

@megawow2295 2 жыл бұрын

@@InterviewDone А вот и нет. На 51:36 светится гихаб Павла. Проект до сих пор находится там в целости и сохранности)

@giorgi_pa 2 жыл бұрын

А кафка без докера не пашет?я новичок в этом деле.

@ytsarenko 2 жыл бұрын

Работает, надо запускать через консоль на своей машине. Докер, грубо говоря, запускает на твоём компе контейнер и в нём уже работает сама кафка до которой нужно будет достукиваться из вне.

@devian2582 Жыл бұрын

54:44 Producer

@bobhutchinson3638 Жыл бұрын

скудноватое объяснение если смотреть с нуля.

@caffeinejavacode1475 2 жыл бұрын

ЗуКипер Зууууу

@nursgrata2865 Жыл бұрын

мне тоже режет слух "заа кипер"

@outlaw4Iife Жыл бұрын

У кого ошибки кидает зукипер юзайте вместо --zookeeper zookeeper:2181 вот это --bootstrap-server localhost:9092

@user-kt4fi6ph3t Жыл бұрын

Чувак, спасибо тебе

@Camufliage 2 жыл бұрын

Epam отнюдь не маленькая компания)

@romanfirsov89 Жыл бұрын

это был сарказм

@dmitry.shabalin 8 ай бұрын

а че не на мове)

@InterviewDone 8 ай бұрын

наразі записуємо вже все на мові.. тоді були ще двомовні..

@dmitry.shabalin 8 ай бұрын

@@InterviewDone вот же можешь на хохляцком

@sadstill 5 ай бұрын

че все описание на украинско, а вебинар главное на русском)))) Вот не в падлу же было какому-то огузку все менять на укр.

@sqlprog 7 ай бұрын

Чем брокер отличается от топика? В Apache Kafka термины "брокер" и "топик" представляют собой два ключевых компонента архитектуры, выполняющих различные функции: 1. **Брокер (Broker):** - **Определение:** Брокер в Kafka представляет собой сервер, который участвует в хранении и передаче данных. Он является основным компонентом, обеспечивающим распределение сообщений между производителями и потребителями. - **Функции:** Брокер отвечает за управление топиками, хранение сообщений в журнале (логе), а также передачу сообщений от производителей к потребителям. Кластер Kafka может состоять из нескольких брокеров, и они работают совместно для обеспечения отказоустойчивости и масштабируемости. 2. **Топик (Topic):** - **Определение:** Топик в Kafka - это категория или канал, который используется для классификации сообщений. Производители отправляют сообщения в определенный топик, а потребители читают сообщения из топика. - **Функции:** Топик определяет, как сообщения организованы и каким образом они могут быть распределены по разным частям кластера брокеров. Он также является механизмом для масштабирования и обеспечивает возможность увеличения пропускной способности и хранения данных в системе. Таким образом, брокер представляет собой физический узел или сервер, который управляет хранением и передачей данных, в то время как топик - это логическое понятие, определяющее категорию сообщений. Каждый топик может быть разделен на несколько партиций для обеспечения распределенного хранения данных и параллельной обработки.