Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambler&Co)

Рет қаралды 55,240

6 жыл бұрын

Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: vk.cc/cuyIqx
--------
--------
РИТ++ 2017, Backend Conf
Тезисы:
backendconf.ru/2017/abstracts/...
Kafka - распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtime-обработку большого числа событий, так и построить батчевый pipeline по доставке логов.
Почему мы используем Kafka? Если коротко - унификация. А если чуть подробнее - десятки поставщиков, терабайты логов каждый день, онлайн- и офлайн-pipeline'ы - без единой высокопроизводительной шины данных с этим крайне сложно совладать.
Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как из-за одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что что-то идёт не так.

Пікірлер: 31

@TaranovskiAlex 6 жыл бұрын

Очень полезный доклад, спасибо!

@dmitryd1572 5 жыл бұрын

Толковый доклад, большое спасибо !

@alexkazimir3835 3 жыл бұрын

Отличный доклад, благодарю

@maila.6753 5 жыл бұрын

Спасибо, интересный доклад!

@user-jz7fj7pf5w 3 жыл бұрын

спасибо, интересный доклад! :)

@MaximZemlyanoy 5 жыл бұрын

По существу )

@webypanda2861 3 жыл бұрын

отличный доклад. про мониторинг - полезно

@Cpa3ykampu 2 жыл бұрын

Похмелье, это зло)))

@waffleboot 5 жыл бұрын

Потерю данных при переизбрании лидеров лучше было бы продемонстрировать на примере split-brain, а то непонятно как это происходит. RF=3 и ISR=2 это на самом деле про нечетное количество членов в кворуме, RF всегда должен быть нечетным.

@bobhutchinson3638 Жыл бұрын

это все в книге есть по кафке

@xxxxPomaHxxxx 2 жыл бұрын

А нафига тут в кафке нужна репликация вообще, какие проблемы если у вас всё данные будут равномерно размазаны по всем нодам? А эта штука которая раз в 30 мин запускается, просто или одновременно или по очереди коннектится к каждой да выкачивает всё.

@andreypotekhin Жыл бұрын

Отличный доклад, спасибо! P.S.: Воду лучше пить из стакана или отключать микрофон. Эти звуки выбешивают не только доктора Хауса:)

@ilya6049 4 жыл бұрын

Для людей не знакомых с Kafka слушать довольно тяжело

@corpseeater9272 3 ай бұрын

Ребята из рамблера, отправьте докладчика к логопеду, это ужасно

@konstantinchvilyov9602 5 ай бұрын

Зафетчены значит забраны?..

@azatnurzhanuly7290 3 ай бұрын

верно

@quantumlexa 3 жыл бұрын

странный немного доклад. автор так упоролся в "exactly once" и даже не объяснил, зачем ему оно надо

@riversong9841 3 жыл бұрын

15:06

@quantumlexa 3 жыл бұрын

@@riversong9841 это не объяснение, зачем ему это надо, а объяснение, что означает exactly once

@konstantinchvilyov9602 5 ай бұрын

ack.=acknowledge [ək'nɒlıdʒ] - 1. признавать, допускать; сознавать 2. узнавать, опознавать, распознавать; признавать 3. подтверждать (получение чего-л.)

@konstantinchvilyov9602 5 ай бұрын

Semantic [sı'mæntık] - смысловой, Значение.

@konstantinchvilyov9602 5 ай бұрын

fetch [feʧ] - 1.1)а) принести, достать; б) сходить за кем-л., позвать кого-л.; приглашать 2)а) = fetch up достигать, добиваться б) приносить доход, зарабатывать

@alexmur07 2 жыл бұрын

Чувак воды пьет много с бодунища после пивка?)

@tatiana4931 3 жыл бұрын

доклад интересный, но бесконечные паразитные "а" между словами задалбывают

@MaksUsanin 4 жыл бұрын

11:55 Все время просмотра я переживал чтобы автор не умер ...

@TheMaddybaddy 4 жыл бұрын

Человек преподносит действительно важную и передовую информацию о современных решениях, а вы замечаете только его проблемы с желудком. Еще и пытаетесь хохмить на этот счет. Это ведь так смешно, да? Ничтожнее этого я мало что в жизни видел, посылаю вам лучи поноса.

@dalerrustamov2902 3 жыл бұрын

Данный коммент показывает на сколько скуден ваш внутренний мир

@konstantinchvilyov9602 5 ай бұрын

Unclean [ʌn'kli:n] - 1. 1) нечистый, грязный; поганый 2) неопрятный, неряшливый 2. нечистый (о пище) 3. аморальный, непристойный