Настройки cookie
Мы используем cookie для аналитики. Политика конфиденциальности Вы можете принять или отклонить необязательный трекинг.
Практический гайд по теме «Когда остановить A/B-тест при низком трафике»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Перейти к инструменту
Статистическая значимость (Z-test) и доверительные интервалы.
Вы запустили A/B-тест и заглянули в результаты на 3-й день. P-value = 0,03 — значимо! Вы останавливаете тест и внедряете изменение. Через две недели подъём исчезает.
Так происходит потому, что многократная проверка результатов работающего теста раздувает частоту ложноположительных результатов. При alpha = 0,05 и ежедневных проверках в течение 14 дней реальная частота ложных срабатываний достигает 20-30%. Каждый взгляд — это ещё один шанс случайно получить «значимость» на шуме.
Пример: базовая конверсия 4%, MDE 1 пп (абсолютный), alpha 0,05, мощность 80%. Нужная выборка: ~3 800 на вариант. При 500 визитах/день это 15 дней. Ставите напоминание на 15-й день. Не подглядываете.
Сайты с низким трафиком (менее 1 000 визитов/день) сталкиваются с реальной проблемой: тест для обнаружения подъёма в 1 пп может занять 8 недель. Варианты:
1. Увеличить порог MDE. Примите, что вы можете обнаружить только крупные эффекты. MDE 3 пп вместо 1 пп сокращает выборку с ~3 800 до ~430 на вариант. Компромисс: мелкие улучшения останутся незамеченными.
2. Тестировать крупные изменения. Вместо цвета кнопки тестируйте полностью другой макет страницы. Крупные изменения дают заметные эффекты, которые обнаруживаются на меньшем трафике.
3. Использовать последовательное тестирование. Методы вроде группового последовательного дизайна позволяют заглядывать в данные в заранее определённые моменты без раздувания alpha. Цена — премия 20-30% к размеру выборки, но тест можно остановить раньше при большом эффекте. См. Последовательное тестирование.
4. Увеличить длительность теста. Если бизнес позволяет — запускайте тест на 6-8 недель. Главное — считайте полными неделями, чтобы учесть цикл «будни/выходные».
Сайт: 300 визитов/день, конверсия 5%.
Вывод: такому сайту стоит целиться на MDE 2-3 пп и тестировать смелые изменения, а не микрооптимизации.
Откройте Калькулятор размера выборки, введите свой трафик и базовую конверсию — и определите MDE, который ваш сайт реально может обнаружить за 2-4 недели.
Запустите сценарий прямо в A/B Test Calculator и сохраните базовый результат перед масштабированием трафика.
Материал проверен редакцией Tools Hub на точность формулировок, практическую применимость и соответствие актуальным сценариям использования инструментов.
Проверено:
Практический гайд по теме «Многовариантное тестирование против A/B: система принятия решений»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Как избежать ложных срабатываний в A/B-тестах»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Несоответствие соотношения выборки: обнаружение и основные причины»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Байесовское и частое A/B-тестирование для продуктовых команд»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.