Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе. В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов. Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов. Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе. Для кого этот курс: 1. Продакт-менеджер Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода. 2. Аналитик Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования. Как проходит обучение: 1. Решайте настоящие задачи бизнеса Пройдите путь начинающего аналитика Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных Получайте обратную связь от практикующих специалистов 2. Работайте с реальной инфраструктурой Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов Работайте на настоящей платформе A/B-тестирования, созданной для симулятора Разрабатывайте дизайн экспериментов и анализируйте результаты Чему Вы научитесь: 1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов 2. Применять современные методы повышения чувствительности A/B-тестов 3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают 4. Проводить множество экспериментов параллельно Какие задачи будем решать: 1. Дизайн эксперимента Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов. 2. Анализ метрики отношений Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты. 3. Чувствительные тесты Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты. 4. Множественное тестирование У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
