Настройки cookie
Мы используем cookie для аналитики. Политика конфиденциальности Вы можете принять или отклонить необязательный трекинг.
Практический гайд по теме «Как избежать ложных срабатываний в A/B-тестах»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Перейти к инструменту
Статистическая значимость (Z-test) и доверительные интервалы.
Ложноположительный результат (ошибка I рода, alpha-ошибка) — тест объявляет победителя, когда реальной разницы нет. Вы внедряете вариант B, думая, что конверсия выросла на 3%, но на самом деле B идентичен A. «Рост» был шумом.
При alpha = 0,05 вы допускаете 5% вероятность ошибки на один тест. Звучит безопасно. На масштабе — нет.
Если вы проводите 20 независимых тестов при alpha = 0,05, вероятность хотя бы одного ложноположительного:
P(хотя бы 1 ложный) = 1 - (1 - 0,05)^20 = 1 - 0,95^20 = 0,64
Это 64%. При 20 тестах вы практически гарантируете хотя бы одного ложного победителя. Если каждый ложный результат приводит к внедрению изменения, которое на самом деле вредит конверсии, вы накапливаете ущерб.
Простейшее решение: разделите alpha на количество тестов.
Мониторите 5 метрик в одном тесте? Используйте alpha = 0,05 / 5 = 0,01 на метрику.
| Число сравнений | Alpha Бонферрони | Требуемый p-value |
|---|---|---|
| 1 | 0,050 | < 0,050 |
| 3 | 0,017 | < 0,017 |
| 5 | 0,010 | < 0,010 |
| 10 | 0,005 | < 0,005 |
| 20 | 0,0025 | < 0,0025 |
Бонферрони консервативен — снижает мощность теста. Менее консервативная альтернатива — метод Бенджамини-Хохберга (контролирует долю ложных открытий, а не семейную ошибку). Но Бонферрони прост и никогда не ошибается в большую сторону.
Пререгистрация — фиксация до запуска теста:
Почему это работает: устраняет пост-фактум рационализацию. Без пререгистрации команды бессознательно проверяют 10 метрик, находят одну значимую и представляют её как «результат». Пререгистрация заставляет быть честными.
Guardrail-метрики (метрики-ограничители) — вторичные метрики для обнаружения регрессий, а не для поиска побед:
Установите пороги guardrail заранее: «Если показатель отказов вырос более чем на 2 пп — не внедрять, независимо от основной метрики». Проверяйте guardrail в A/B-тест калькуляторе.
Перед следующим тестом запишите основную метрику, уровень alpha и размер выборки. Рассчитайте необходимую длительность в A/B-тест калькуляторе и зафиксируйте её.
Материал проверен редакцией Tools Hub на точность формулировок, практическую применимость и соответствие актуальным сценариям использования инструментов.
Проверено:
Практический гайд по теме «Когда остановить A/B-тест при низком трафике»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Несоответствие соотношения выборки: обнаружение и основные причины»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Байесовское и частое A/B-тестирование для продуктовых команд»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Последовательное тестирование и ловушка для подглядывания»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.