Настройки cookie
Мы используем cookie для аналитики. Политика конфиденциальности Вы можете принять или отклонить необязательный трекинг.
Практический гайд по теме «MDE в A/B-тестировании: как выбрать реалистичный размер эффекта»: ключевые шаги, типичные ошибки и внедрение через Калькулятор размера выборки.
Перейти к инструменту
Расчет выборки для A/B тестов (Метод Эвана Миллера).
MDE (Minimum Detectable Effect) — минимальный размер эффекта, который ваш A/B-тест способен надёжно обнаружить. Если MDE = 5%, тест зафиксирует реальный рост на 5%, но пропустит подъём на 2%.
MDE — это не то, что вы надеетесь увидеть. Это то, что ваш трафик может себе позволить измерить.
Для двухвыборочного теста пропорций при мощности 80% и уровне значимости alpha = 0.05 размер выборки на вариант:
n = 16 * p * (1 - p) / delta^2
Где p — базовая конверсия, delta — абсолютный MDE. Константа 16 получается из (Z_alpha/2 + Z_beta)^2 при стандартных значениях (1,96 + 0,84)^2 = 7,84, умноженных на 2 варианта и округлённых.
Размер выборки растёт пропорционально квадрату уменьшения MDE. Сократили MDE вдвое — трафика нужно вчетверо больше. Таблица для базовой конверсии 10%:
| MDE (абсолютный) | Выборка на вариант | Общий трафик (2 варианта) |
|---|---|---|
| 5 пп | ~1 150 | ~2 300 |
| 3 пп | ~3 200 | ~6 400 |
| 2 пп | ~7 200 | ~14 400 |
| 1 пп | ~28 800 | ~57 600 |
| 0,5 пп | ~115 200 | ~230 400 |
Переведите подъём в деньги. Допустим, конверсия 3%, 100 000 визитов в месяц:
Вопрос: стоят ли $50 000/мес пяти недель тестирования? Обычно да. Но если 0,5 пп = $25 000 и требует 20 недель — скорее нет.
Откройте Калькулятор размера выборки, подставьте свою базовую конверсию и целевой MDE — и проверьте, хватит ли трафика на тест.
Материал проверен редакцией Tools Hub на точность формулировок, практическую применимость и соответствие актуальным сценариям использования инструментов.
Проверено:
Практический гайд по теме «Размер выборки для экспериментов с процессом регистрации»: ключевые шаги, типичные ошибки и внедрение через Калькулятор размера выборки.
Практический гайд по теме «Когда остановить A/B-тест при низком трафике»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Многовариантное тестирование против A/B: система принятия решений»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Как избежать ложных срабатываний в A/B-тестах»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.