Apache Kafka: погружение на 45 минут. Григорий Кошелев, Контур, ведущий разработчик

Рет қаралды 10,399

29 күн бұрын

Уральская конференция веб-разработчиков #UWDC2024
Apache Kafka: погружение на 45 минут.
Григорий Кошелев, Контур, ведущий разработчик
--
Партнеры и спонсоры конференции:
Orion soft - один из лидеров ИТ-индустрии, ведущий производитель платформ виртуализации и инфраструктурных решений
АО «Альфа-Банк» - крупнейший частный банк в России, который уже выбрали 30 миллионов клиентов
Xpage - разработчик высоконагруженных цифровых решений для среднего и крупного бизнеса. Работает и развивается с 2003 года. Входит в число лучших компаний-разработчиков для спортивных и e-commerce-проектов (по результатам Рейтинга Рунета)
Инфиннити - ведущая российская ИТ компания, разрабатывающая медицинские и образовательные информационные системы в государственном секторе
ПАО «Ростелеком» - признанный технологический лидер в инновационных решениях в области цифровых государственных сервисов, кибербезопасности, цифровизации регионов, здравоохранения, биометрии, образования, ЖКХ, а также в сфере облачных вычислений и услуг дата-центров
--
Погружение в Apache Kafka для разработчиков:
1. Внутреннее устройство и принцип работы основных компонентов Apache Kafka.
2. Особенности использования Apache Kafka в различных сценариях.
3. Разбор best practices и мифов.

Пікірлер: 10

@SuperRinzler 20 күн бұрын

2 года не трогал кафку. Самое то, чтоб освежить знания перед собесами. Большое спасибо!

@HideDJeker 23 күн бұрын

Важные уточнения - компакшен и удаление только на неактивных сегментах. (бывали случаи когда потребители железно хотели подвязаться на время жизни сообщения или что компакшен отработает для ключа, в общем было бы хорошо упомянуть что это чисто механизмы экономии места и логически подвязываться на них не нужно) Не рассказано про доступность чтения. Можно так же рассмотреть семантики на доставку и если шире смотреть в семантику обработки можно тогда уже рассматривать от отправки до обработки) если вы при отправке позволяете потерять сообщение то чебы не делали на консюмере эт лист онас вы не сделаете) . Время сообщения интересно кстати с точки зрения библиотеки не знаю, но вроде это конфигурируется на стороне брокера какое время использовать для kafka timestamp - клиентское или серверное, подозреваю что при втором кейсе - клиентское будет проигнорировано. В хедерах полезно бывает указывать какие то поля которые могут быть полезны для фильтрации - зачастую в нагруженных системах фильтрация нужных событий может требовать 10% данных, и десериализация какого нить бинарного формата может быть дорогостоящей для фильтрации, ну и всякие моменты что бывает сложно вызвать реконфигурацию на большее количество партиций или заложить их большое количество. Зачем было говорить о партишинере не сильно понял, было бы хорошо упомянуть тут что линеаризуемость обработки сообщений есть только в рамках бизнес ключа который хотим держать в 1 партици. В целом доклад понравился, все по фактам, но если честно не понял для кого это было, тех кто не знает о кафке не осилят такую скорость) а о каких то нюансах наверное мало чего было сказано.

@_qaroom 7 күн бұрын

Где же вы были в 2017ом) Спасибо за доклад! А по скорости вообще топ. Я эту информацию выцеплял из 10часового курса)

@user-qx3jt8fw1v 13 күн бұрын

Прекрасный доклад, большое спасибо!

@KAPYRIN 23 күн бұрын

Спасибо

@leomysky 10 күн бұрын

Хороший доклад, спасибо за информацию

@kookooyob3440 17 күн бұрын

Жаль, что организаторы не публикуют ссылки на предыдущие выступления автора, которые он упоминает в докладе. Может быть, ещё не поздно их опубликовать?

@milordplus 21 күн бұрын

Спасибо! В конце доклада говорится, что нет DLQ, но есть же DLT или это не совсем то?

@hurricane-rus 24 күн бұрын

На следующем выступлении можно попробовать не спешить так, как на этом) Иначе поток информации слишком большой, через 10 минут начинаешь слушать как радио

@user-qx3jt8fw1v 13 күн бұрын

нормально, всегда можно затормозить видео