Василий Копытов, Авито. Как и почему мы перешли от Python к Go в нашем основном сервисе рекомендаций

  Рет қаралды 4,827

Видео с мероприятий {speach!

Видео с мероприятий {speach!

2 жыл бұрын

Рекомендации Авито - это первое, что видит пользователь, когда попадает на главную страницу. Нагрузка на наш основной сервис - порядка 200 тысяч запросов в минуту.
За последние два года мы сильно улучшили качество рекомендаций, но сильно проиграли в latency. Главным врагом производительности и latency стало добавление ML модели второго уровня на основе CatBoost для ранжирования объявлений от базовых ML моделей первого уровня в реалтайм.
В докладе я расскажу:
Как мы приняли решение переписать все на Go, перед этим мы выжали из Python все, что смогли;
Как подружили CatBoost с Go и стали использовать ML модель на основе CatBoost в Go;
Что получили по latency и потреблению memory/cpu.

Пікірлер: 9
@MarximumPower
@MarximumPower 2 жыл бұрын
Можно коротко рассказать в чем заключается подготовка фичей? Это не pandas? Подготовка фичей тоже была в processpool? Еще интересно использовался ли какой-нибудь бинарный быстрый протокол в кейсе с отдельным cpu-bound сервисом?
@Sneg00vik
@Sneg00vik Жыл бұрын
Вот мне тоже интересно. Часто слышу про переписывание на Go, Julia с хорошим приростом в произовдительности. Но мои микробенчмарки не показывают какого-то прироста по сравнению с Numpy/Numba.
@lonterel4704
@lonterel4704 2 жыл бұрын
А uvloop?
@merlin7411
@merlin7411 Жыл бұрын
М, а у Instagram все ок или Shopify...так может дело не в языке?)
@dmitriyobidin6049
@dmitriyobidin6049 9 ай бұрын
Пройдет пару лет и потом опять с микросервисов начнут уходить в SOA v2.0 :)
@varuzam
@varuzam 2 жыл бұрын
Ребята не осили cython и решили переписать вообще все
@boobubuo
@boobubuo 2 жыл бұрын
это то гугно которое выдаёт непойми что непойми зачем за тысячи километров ? и всегда невпопад ? и после запросов скриншотов и доказательств ответ .. да нам фсрать .. ? это это рекомендации ?
@channeldsr9983
@channeldsr9983 2 жыл бұрын
Взяли Goвно, вместо православного Rust
@PVBovercomes
@PVBovercomes 9 ай бұрын
+++
Павел Мальцев, Speechki. Redis, сова и глобус
33:59
Видео с мероприятий {speach!
Рет қаралды 671
Дмитрий Ходаков, Авито  «Tornado vs Aiohttp»
37:11
Видео с мероприятий {speach!
Рет қаралды 8 М.
Balloon Stepping Challenge: Barry Policeman Vs  Herobrine and His Friends
00:28
Please be kind🙏
00:34
ISSEI / いっせい
Рет қаралды 70 МЛН
Универ. 13 лет спустя - ВСЕ СЕРИИ ПОДРЯД
9:07:11
Комедии 2023
Рет қаралды 4,8 МЛН
Антон Сергеев, «Go под капотом»
36:37
Kolesa Group
Рет қаралды 90 М.
Back. Go vs Python
1:03:40
ProIT Fest
Рет қаралды 4,5 М.
Сергей Вариасов. Почему мы написали еще один фреймворк для Python
49:01
Хэш-таблицы за 10 минут
13:01
Николай Тузов — Golang
Рет қаралды 121 М.
Balloon Stepping Challenge: Barry Policeman Vs  Herobrine and His Friends
00:28