Размер выборки для A/B теста: как правильно считать
Почему нельзя останавливать тест раньше времени, как рассчитать нужное число пользователей до запуска и что такое мощность теста.
Почему размер выборки так важен?
Большинство A/B тестов останавливают слишком рано — это одна из главных ошибок в CRO. Тест, остановленный при первой «зелёной цифре», даёт ложные результаты в 30-50% случаев.
Три параметра расчёта
1. Базовая конверсия (CR) — текущая конверсия контрольной группы
2. Минимальный эффект (MDE) — минимальное улучшение, которое считается важным
3. Статистическая мощность (Power) — вероятность обнаружить реальный эффект (обычно 80%)
Формула Эвана Миллера
n = (Z_α/2 + Z_β)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²
Где:
Z_α/2 = 1.96 (при уровне значимости 95%)
Z_β = 0.84 (при мощности 80%)
p1 = базовая конверсия
p2 = ожидаемая конверсияПрактические примеры
| Базовый CR | MDE | Выборка на группу |
|---|---|---|
| 2% | +20% (до 2.4%) | ~40 000 |
| 5% | +10% (до 5.5%) | ~28 000 |
| 10% | +10% (до 11%) | ~13 000 |
| 10% | +20% (до 12%) | ~3 500 |
Вывод: Чем меньше MDE и базовый CR, тем больше нужна выборка.
Правила хорошего теста
- ✅ Рассчитайте выборку до запуска, не во время
- ✅ Не останавливайте тест досрочно
- ✅ Тестируйте полные недельные циклы (7N дней)
- ❌ Не меняйте MDE после запуска (p-hacking)
Рассчитайте выборку для вашего теста с помощью нашего калькулятора по методу Эвана Миллера.