Анатолий Карпов - A/B-тестирование: как сделать так, чтобы оно заработало

Рет қаралды 62,021

4 жыл бұрын

Совсем скоро Матемаркетинг-22, 17-18 ноября
Подробности: matemarketing.ru/
Программа: clck.ru/y6jEV
Купить билет: matemarketing.ru/
A/B-тесты - главный двигатель развития продукта. В крупных компаниях ежедневно проводятся сотни экспериментов, а их результаты могут стоить миллионов рублей - как выручки, так и убытков. Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.
Презентация: bit.ly/3dXEvdG
Статья-расшифровка: bit.ly/3bOhubL

Пікірлер: 44

@abraksas94 3 жыл бұрын

Очень ясно изложил, прям как на своих курсах на степике. Спасибо!

@EaSy64region 4 жыл бұрын

К вопросу об усреднении CTR. В задачах машинного обучения похожая ситуация возникает при использовании метрики для многоклассовой классификации. Перенося проблему на пример с объявлениями есть: (1) Микроусреднение 1. Берем просто общий CTR (общие клики разделить на общие показы) Логика применения: чем больше показов на какое-то отдельное объявление, тем нам важнее CTR именно на нем. То есть сдвигает целевой показатель (CTR) в сторону преобладающего класса (объявления с большим числом показов) (2) Макроусреднение 1. Считаем для каждого объявления его собственный: CTR_k (не общие клики и показы, а отдельно для каждого объявления) 2. Усредняем показатели по всем классам (делим каждый CTR_k на количество объявлений): CTR = CTR_k / K Логика применения: вне зависимости от количества показов на отдельных объявлениях, мы получаем CTR с поправкой на несбалансированные показы. Например, если у нас 2 объявления, и на одном гораздо больше показов/кликов чем на другом, то при микроусреднении мы получим CTR, смещенный в сторону CTR большого класса. То есть для каждой задачи аналитик сам решает, ему больше надо оценить CTR по каждому классу (например, найти более крутое объявление) или общий CTR на всю кампанию для подведения итогов.

@user-gw4di6im6k 3 жыл бұрын

Обалденно. Человек нашел себя, любит статистику и проявляет себя в этом. И это самое великолепное!

@gikis1 4 жыл бұрын

Божественное выступление! И бесплатно! спасибо вам, ребята!!

@murrrketolog 3 жыл бұрын

Спасибо большое за выступление. Очень доступно и понятно.

@ptreeful 2 жыл бұрын

А в этом видео есть что-нибудь про A/B тестирование?

@user-jz2ng9pt7o 3 жыл бұрын

Узнала много интересного и полезного! Круто! Спасибо большое за доклад👍

@vasiliidovedov3675 3 жыл бұрын

Насколько же он хорош!)

@user-bj6vm2dx2v 4 жыл бұрын

Про открытый вопрос на 35 минуте (считать CTR суммарно по всем объявлениям или считать CTR по отдельным объявлениям, а потом усреднять), так какой же способ проверки правильно было бы использовать и почему?

@imagination9811 3 жыл бұрын

Лучший!

@user-ui4gh1xt1i Жыл бұрын

Да круто) как фильм остросюжетный посмотрел)

@diapaz2608 3 жыл бұрын

Можно протестировать и компании и объявления и группы???

@TheXbadcode 3 жыл бұрын

Загадка с CTR - может, просто парадокс Симпсона? Когда при объединении групп отличается поведение, чем если их по отдельности считать

@eugene9271 3 жыл бұрын

вроде оно и есть

@Gruzinov Жыл бұрын

На графике с CTR от нуля до 200 у меня ни одной идеи, что за значения на оси x. CTR меряется в процентах о нуля до 100% (ну или от нуля до единицы).

@and_and1 3 жыл бұрын

35 минута это не ru.wikipedia.org/wiki/%D0%9F%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81_%D0%A1%D0%B8%D0%BC%D0%BF%D1%81%D0%BE%D0%BD%D0%B0 или я ошибаюсь?

@hipotalamus 3 жыл бұрын

похоже на то.

@user-rd2wm2jb4r Жыл бұрын

Здравствуйте мистер Шелдон Купер

@distruktiv8504 4 ай бұрын

Гениальный шахматист

@sergeypinaev4376 3 жыл бұрын

CTR - это доля (те процент), но сумма CTR(процентов) элементов - не равна общей СTR(процентов). Например: 50/100 (50%) + 5/10 (50%) == 1(100%) и это не равно (50+5)/(100+10) = 0.5 (50%). Другими словами от долей и процентов нельзя считать сумму имхо

@hipotalamus 3 жыл бұрын

возможно там не совсем про сумму CTR, в качестве процентов, а про сравнение среднего значения по показателю среди объявлений и простым делением суммы всех кликов на сумму всех показов

@seoonlyRU Жыл бұрын

ЛАЙК от топового вебмастера и тестировщика СЕООНЛИ

@ivanshamaev 2 жыл бұрын

10% от 1000 это 100, т.е. на 26 минуте ошибка в сравнении 1000 и 1010 (должно быть 1100)

@CommieDog1917 Жыл бұрын

Так не, там же доказывается именно то, что рейтинг изменяется в процентах, а не в единицах. Т.е. изменение со 100 до 110 - это 10 единиц, 10% и рейтинг увеличился на 1 А с 1000 до 1010 - это тоже 10 единиц, но уже 1% и, соответственно, рейтинг увеличился не на 1, а на 0,1

@fluffybobber 3 жыл бұрын

35 минута: CTR по сути нормирует(взвешивает, исправляет) показания кликов для каждого объявления согласно числу его показов. Чем больше показов - тем большее число кликов требуется для высокого ctr. То, что нормирование всех кликов по всем показам это совершенно другая вещь - едва ли должно требовать пояснений. Приведу пример: Допустим, есть норма сытости двух животных: у козлика это 8 яблок в день, а у кролика 3 яблока в день. У нас есть 10 яблок. Неужели не очевидно, что индекс голода будет радикально отличаться от того, лишим мы недостающего яблока козлика или кролика? Лишаем козлика: Голод козлика = 1/(7/8), а кролика 1/(3/3). Средний (1,14+1)/2 = 1,07 голода Лишаем кролика: Голод козлика = 1/(8/8), а кролика 1/(2/3). Средний (1+1,5)/2 = 1,25 голода Некорректно: Общий индекс голода: 10/(8+3) = 1,1 Непоказательно совершенно. Забавно, что, будь у нас не 10, а 8 яблок, мы могли бы заморить голодом кролика или накормить кролика 2-мя, а козлика 6-ы яблоками и не показательный способ подсчета не увидел бы разницы. Я надеюсь понимание ситуации мне удалось вывести за предела математики? Обожаю разбираться в таких вопросах... может тоже пойти в анализ? С чего начать, если есть опыт программирования, работы с нампи, пандас, если преподавал в вузе матстат и матан?

@aleksandrsmurov5135 3 жыл бұрын

Да, а почему бы и не пойти :)

@aleksandrsmurov5135 3 жыл бұрын

Нужно вступить в ods :) Понять в какую ветку аналитики хочется и от этого отталкиваться. Из общего - SQL

@user-fy9ll3vk8h 3 жыл бұрын

жхх, а я у этого чувака учился статистике на халявном курсе степика, а счас как он поднялся))

@Name-tn3md 2 жыл бұрын

ну как, стал асом статы?

@Pavlo-Shatohin 3 жыл бұрын

Классный доклад, но как-то стремно от того, что вы не понимаете, почему нельзя усреднять проценты CTR, чтобы оценить средний результат по фиче. Как минимум мы не определили, что это вообще за параметр такой - средневзвешенный процент, где каждой группе выдан равный вес, независимо от её вклада в общий результат. Почему группа объявлений тут играет роль более важную, чем влияние фичи на результат? А раз мы не определили, что это за показатель мы считаем, то ясное дело, мы не знаем, о чем он нам говорит.

@maths781 Жыл бұрын

Он шахматист?

@dimasid4642 Жыл бұрын

Очень нужно и далеко от предмета. Подводка к сути видео вообще уснуть можно

@igoriakubovskii1958 3 жыл бұрын

Мы никогда не ПРИНИМАЕМ гипотезы Только НЕ ОТВЕРГАЕМ

@tka400 3 жыл бұрын

Я думаю ОН это знает.

@user-nw9dx4fj9s 3 жыл бұрын

не ложить, а класть!

@igoriakubovskii1958 3 жыл бұрын

@@tka400 но не говорит)

@vladivas5846 3 жыл бұрын

Что это значит?

@user-nw9dx4fj9s 3 жыл бұрын

Vladi Vas ну типо поправочка из того же класса, звучит правильней, а сути не меняет.

@IIIy6a Жыл бұрын

Зашел посмотреть про а б тесты.... а тут какие-то непорометрики и логорифмирование переменных. Люди пишут что очень ясно изложенно.. может это тонкий сарказм... В любом случае извините, я наверно ахуенно тупой.