Обсяг вибірки для A/B тесту: як його правильно розрахувати
Чому не можна зупиняти тест завчасно, як розрахувати необхідну кількість користувачів перед запуском і що таке потужність тесту.
Чому розмір вибірки такий важливий?
Більшість A/B тестів припиняється занадто рано - це одна з головних помилок CRO. Тест, зупинений на першій «зеленій цифрі», дає помилкові результати в 30-50% випадків.
Три параметри розрахунку
1. Base Conversion (CR) - поточне перетворення контрольної групи
2. Мінімальний ефект (MDE) - мінімальне покращення, яке вважається важливим
3. Статистична потужність - ймовірність виявлення реального ефекту (зазвичай 80%)
Формула Евана Міллера
n = (Z_α/2 + Z_β)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²
Де:
Z_α/2 = 1,96 (при 95% рівні значущості)
Z_β = 0,84 (при 80% потужності)
p1 = базове перетворення
p2 = очікувана конверсія Практичні приклади
| Основний CR | MDE | Відбір проб на групу |
|---|---|---|
| --- | --- | --- |
| 2% | +20% (до 2,4%) | ~40 000 |
| 5% | +10% (до 5,5%) | ~28 000 |
| 10% | +10% (до 11%) | ~13 000 |
| 10% | +20% (до 12%) | ~3 500 |
Висновок: Що менший MDE і базовий CR, то більша вибірка потрібна.
Правила хорошого тесту
- ✅ Розрахувати вибірку до запуску, а не під час
- ✅ Не припиняйте тест передчасно
- ✅ Перевірте повні тижневі цикли (7N днів)
- ❌ Не змінюйте MDE після запуску (p-hacking)
Обчисліть розмір вибірки для вашого тесту за допомогою нашого калькулятора за методом Евана Міллера.