Налаштування cookie
Ми використовуємо cookie для аналітики. Політика конфіденційності Ви можете прийняти або відхилити необов'язкове відстеження.
Практичний гайд на тему «MDE в тестуванні A/B: як вибрати реалістичний розмір ефекту»: ключові кроки, типові помилки та впровадження через Розмір вибірки Calc.
Перейти до інструменту
Розрахунок вибірки для A/B тестів (метод Евана Міллера).
Мінімальний виявлений ефект (MDE) — це найменше поліпшення, яке ваш A/B-тест розроблено для надійного виявлення. Якщо ваш MDE становить 5%, тест виявить реальне збільшення на 5% більшість часу — але пропустить збільшення на 2%.
MDE не про те, що ви *сподіваєтесь* побачити. Це про те, що ваш трафік може *дозволити* виміряти.
Для дво вибіркового пропорційного тесту при 80% потужності та альфа = 0,05 необхідний розмір вибірки на варіант приблизно:
n = 16 * p * (1 - p) / delta^2
Де p — базова частота конверсії, а delta — абсолютний MDE. Константа 16 походить від (Z_alpha/2 + Z_beta)^2 зі стандартними значеннями (1,96 + 0,84)^2 = 7,84, подвоєними для двох варіантів і округленими.
Розмір вибірки зростає з *квадратом* зменшення MDE. Зменшення MDE з 5% до 2,5% збільшує необхідний трафік у чотири рази. Ось конкретна таблиця для базової частоти конверсії 10%:
| MDE (абсолютний) | Вибірка на варіант | Загальний трафік (2 варіанти) |
|---|---|---|
| 5 pp | ~1,150 | ~2,300 |
| 3 pp | ~3,200 | ~6,400 |
| 2 pp | ~7,200 | ~14,400 |
| 1 pp | ~28,800 | ~57,600 |
| 0.5 pp | ~115,200 | ~230,400 |
Перекладіть збільшення у гроші. Якщо ваш сайт конвертується на 3% і отримує 100 тис. відвідувачів/місяць:
Запитайте: чи варто $50K/місяць 5 тижнів тестування? Зазвичай так. Але якщо 0,5 pp збільшення = $25K і вимагає 20 тижнів, ймовірно ні.
Відкрийте Калькулятор розміру вибірки, введіть вашу базову частоту і цільовий MDE, і подивіться, чи може ваш трафік підтримати тривалість тесту.
Цю статтю перевіряє редакція Tools Hub на точність фактів, практичну цінність і відповідність актуальним продуктовим сценаріям.
Остання перевірка:
Практичний гайд на тему «Розмір вибірки для експериментів із потоком реєстрації»: ключові кроки, типові помилки та впровадження через Розмір вибірки Calc.
Практичний гайд на тему «Коли зупиняти A/B-тест із низьким трафіком»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.
Практичний гайд на тему «Багатоваріантне проти A/B тестування: система прийняття рішень»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.
Практичний гайд на тему «Як уникнути помилкових спрацьовувань у тестах A/B»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.