Как правильно анализировать A/B тесты? Разбираем статистику игры Robot Ring Fighter

No video

Как правильно анализировать A/B тесты? Разбираем статистику игры Robot Ring Fighter

Рет қаралды 3,228

Күн бұрын

🔥Первый клуб для разработчиков игр с системой наставничества от успешных владельцев студий, узнай больше по ссылке: club-gamedev.com/
🔥Скачай презентацию Геймдев клуба👉 t.me/gamedev_c...
Здорово, народ! Сегодня мы поговорим о статистике в играх. Я хочу рассказать, как, и в каком инструменте анализировать результаты тестов, как настраивать фильтры, и на какой аудитории проводить A/B тест.
Если остались вопросы, задавайте их в комментариях, постараюсь всем ответить! А если у вас уже есть игра на Google Play с доходом ~1000$ - мы готовы помочь с ее дальнейшим развитием в AppStore.
Заработать больше:
🔹Покупай и продавай свои мобильные игры: t.me/+ZttuZk2Z...
🔹Издадим твои игры на HTML5 (портируем сами): t.me/She1xx
🔹Подключим медиацию Ironsource или Appodeal (Рост дохода x1,5-2): t.me/kristaliss
ТАЙМКОДЫ:
0:00 Как анализировать статистику в играх?
1:50 Robot Ring Fighter. Анализ последнего апдейта в FireBase
5:45 На какой аудитории проводить A/B тест?
9:15 Результаты теста
Смотри информацию о разработке и запуске игр:
🔹Telegram-канал t.me/grishakof...
🔹VK grishak...
🔹Instagram / grishakof
Полезные видео по монетизации игр:
🔹План продвижения игры в Google Ads • Пошаговый План Продвиж...
🔹Как отслеживать ЗАРАБОТОК на играх • Как отслеживать ЗАРАБО...
🔹Наша студия по разработке игр godreams.games
Вступить в чат разработчиков vk.me/join/RZd...
Наш Steam: store.steampow...
Наши игры: godreams.games/

Пікірлер: 44

@Grishakof Жыл бұрын

ТАЙМКОДЫ: 0:00 Как анализировать статистику в играх? 1:50 Robot Ring Fighter. Анализ последнего апдейта в FireBase 5:45 На какой аудитории проводить A/B тест? 9:15 Результаты теста

@ivanvinnikov1014 Жыл бұрын

Отличный пример парадокса Симпсона. Парадокс Симпсона (также Парадокс Юла - Симпсона или парадокс объединения) - эффект, явление в статистике, когда при наличии двух групп данных, в каждой из которых наблюдается одинаково направленная зависимость, при объединении этих групп направление зависимости меняется на противоположное.

@sergeym1637 Жыл бұрын

А ещё ведь есть минимальный размер выборки, доверительный интервал и тд. - чтобы данные считались достаточными для принятия решения, а не искажались из-за небольших цифр :) Но в целом конечно хорошо, что такие детские ошибки показываете - наверное многим начинающим ребятам будет полезно.

@crazy-man Жыл бұрын

Да я это логически додумался тоже , по первой сессии фильтровать

@Grishakof Жыл бұрын

100%. Но не стоит все пихать в 1 видео. Пока про когортный анализ, потом - больше

@annaalmazova7914 Жыл бұрын

Евгений подскажите пожалуйста если при создании Google ads рекламы пишет гугл что ставки слишком маленькие и типо увеличьте хотя бы в 50 раз)а я поставила как вы говорили 10 долларов в день и за установку 30 центов это работает? не надо надеюсь в 50 раз увеличивать чтоб реклама пошла эффективно?)

@Grishakof Жыл бұрын

Делай небольшие шаги по увеличению ставки по 20%. Рано или поздно стартанет) Второй вариант (если время ограничено), запусти макс инстальную кампанию. Она без цены запускает и гугл как бы максимально эффективно тратит твои деньги. Так сипиай будет повыше, но зато кампания сразу стартанет

@annaalmazova7914 Жыл бұрын

@@Grishakof поняла спасибо большое, а Ваше видео про гугл эдс которое второе где вы тесты по Америке начинаете ещё актуально? Или все поменялось? Стратегия продвижения игр?

@user-ko7hx3ui3i Жыл бұрын

Мы обычно закупаем где-то по 5к юзеров на один вариант, чтобы результат был точным. 200 юзеров думаю маловато

@alexeygofman6719 Жыл бұрын

можете показать какие креативы в рекламных компаниях используете? сколько за раз компаний запускаете и как настраиваете аудиторию адсета? будет очень полезно 👍

@evgeniymaals Жыл бұрын

"блин, это супер важно и очень круто" 😂

@Grishakof Жыл бұрын

Эта фраза говорит о моем воодушевлении)

@Wertixtt Жыл бұрын

обожаю вашу игру bunker22 и Nuclear day

@Rivenz Жыл бұрын

Спасибо за полезное видео

@aleksandrmusurivskii8857 Жыл бұрын

Вопрос такой созрел. Ты выбираешь ключевой метрикой для аб теста длину сессии. Я выбирал арпдау. Но результаты получаются спорными, а именно арпдау по тестируемому варианту ниже, но общий плейтайм выходит выше. Выборка 43к человек

@Grishakof Жыл бұрын

Ключевой да, но мы смотрим в комплексе результаты. С учетом ретеншена, отвалов по воронке, показов рекламы на юзера и арпу по когорте

@aleksandrmusurivskii8857 Жыл бұрын

@@Grishakof И как поступаете, когда плейтайм выше, а остальные все параметры попеременно: один выше, другой ниже? Или быть может вы отталкиваетесь от значений, на сколько лучше то или иное?

@aarontower Жыл бұрын

Будь здоров)

@skaron9044 Жыл бұрын

Спасибо за информацию, но такой вопрос, не слишком ли мало игрков для принятия решения? И почему акцент только на закупных игроках если их куда меньше чем органики. Понятно что они более платежны, но игра ведь не маштабируется в данный момент.

@Grishakof Жыл бұрын

200 мало. Вообще, я во всех видео рекомендую минимум 700 юзеров на обе версии. Хотя бы по 350 на 1

@skaron9044 Жыл бұрын

@@Grishakof Ясно, спасибо за ответ.

@crazy-man Жыл бұрын

Надо видео как в файрбейсе смотреть предсказуемое поведение , прогноз на покупку и т.п действиям все никак не могу дойти до этого

@Grishakof Жыл бұрын

Обязательно, Рафаэль) вообще, копаться в аналитике - это круто. В твою игру играют, проходят уровни. Анализируй и кайфуй)

@vitalysumin Жыл бұрын

Интересно какие конкретно изменения привели к улучшению

@Grishakof Жыл бұрын

Роботы оч слабый проект. Пока делаем очевидные вещи, причесываем проект

@DarkDenisCh Жыл бұрын

будь здоров😀

@animdroid Жыл бұрын

А вот интересно, почему на Японию не закупить дорого? Просто в 22 году, топовая страна по инапам + Япония и роботы, это синонимы)

@Grishakof Жыл бұрын

Нужно пробовать, Максим. В этом и фишка геймдева: тут все легко попробовать)

@user-jp4ng2mp6k Жыл бұрын

Можно как то рекламировать игру через Google Ads?

@Grishakof Жыл бұрын

Конечно. Но нужен зарубежный акк. Например, Казахстана

@user-jp4ng2mp6k Жыл бұрын

спасибо

@user-sg4mt1uc8m Жыл бұрын

Тогда верно ли утверждение что данные по новым игрокам всегда важнее чем данные по старым игрокам?

@Grishakof Жыл бұрын

в большинстве случаев мы делаем улучшения, чтобы новые игроки играли лучше, больше и дольше. Старые пользователи важны, когда ты выпускаешь контентное обновление для бывалых игроков. Офферы для бывалых игроков. Какие-нить кланы.

@ATHEDICE Жыл бұрын

Видео довольно ошибочное. Да. Когортизация самое банальное что нужно сделать в начале. Но сегментировать по америке имеет смысл, только если ты наберешь там больше тысяч 10 в каждой группе. Иначе твои измерения нерелевантны слишком. В то же время, нужно понимать что ты тестишь. Если игровые метрики, которые не касаются платежности - тот же узбекистан полезнее будет, просто потому что они играют в игру зачастую грамотнее, и на более слабых девайсах. Платежные метрики снимать конечно уже лучше с ЦА. Но статзначимость начинается только где то с 800 покупателей в группе. А это примерно 20к трафика в каждой группе надо, если конверт рейт 4% хотя бы Усредненные данные по общей длительности игры слишком опасные для измерения. Лучше мерить по отдельности каждую сессию. Просто потому что из за банальной разницы в ретеншене, группы в поздних днях начинают устраивать доминацию в какую либо сторону. Ну и довольно много чего еще можно наговорить)

@Grishakof Жыл бұрын

Это базовое видео) Нет смысла пытаться в одно видео на широкую аудиторию рассказывать про доверительные интервалы. Здесь наглядный пример, как работает когорота и фильтр на страну. Не было цели сделать исчерпывающий материал по АБ-тестам Плюс, ты мыслишь как сотрудник крупной компании) Для инди-разработчика налить 10к человек в когороту - непозволительная роскошь

@ATHEDICE Жыл бұрын

Так это же о том, что для маленькой студии любой, абтесты не позволительны) Это значит что стоит тестить стабильность версии методом разделения траффика на инстал. И в случае стабильности расширять полностью Просто потому что тут решения делаются либо положительные, либо никакие. И в сторону точно позитивных изменений стоит смотреть Да, будут изменения, которые поменяют игру в плюс сильно или сильно в минус. И их можно пробовать тестить. Но в таком случае, это до сих пор должны быть очевидные изменения. Даже смена сеттинга игры, к примеру. А тестить минор, это то, что самое дорогое и опасное. Просто потому что в реальности, это не детерменируемые вещи с помощью маленького абтеста