A/B тесты - как проводить и анализировать

Что такое A/B тест

A/B тест - это эксперимент, где пользователей случайно делят на две группы: контрольную (A) и тестовую (B). Группа A видит старую версию, группа B - новую. Сравниваем метрики и делаем выводы.

Ключевые понятия

Статистическая значимость (p-value)

Вероятность получить такой же или более экстремальный результат, если на самом деле разницы между группами нет. Стандартный порог: p-value < 0.05 (95% уверенность).

Статистическая мощность (Power)

Вероятность обнаружить эффект, если он реально существует. Стандарт: 80%.

Минимальный детектируемый эффект (MDE)

Минимальное изменение метрики, которое мы хотим обнаружить. Чем меньше MDE - тем больше нужна выборка.

Как рассчитать размер выборки

Размер выборки зависит от:

1. Базовая конверсия - текущее значение метрики
2. MDE - какой эффект хотим поймать
3. Значимость (α) - обычно 5%
4. Мощность (1-β) - обычно 80%

Типичные ошибки

❌ Остановка теста раньше времени

Если остановить тест, как только p-value < 0.05, вероятность ложноположительного результата резко возрастает.

❌ Множественные сравнения

Если тестируешь 20 метрик, одна из них покажет значимость просто случайно.

❌ Игнорирование новизны

Пользователи реагируют на новое. Эффект может быть временным.

AA-тест

Тест, где обе группы получают одинаковый опыт. Нужен для проверки системы сплитования. Если AA-тест показывает значимую разницу - проблема в методологии.