A/B тестирование: руководство для начинающих
Как правильно запускать A/B тесты, считать статистическую значимость и избегать типичных ошибок. С примерами из e-commerce.
Что такое A/B тест?
A/B тест — это эксперимент, в котором вы показываете двум одинаковым группам пользователей разные варианты страницы (A — контрольный, B — экспериментальный) и измеряете, какой даёт лучший результат.
Как работает статистическая значимость?
При A/B тестировании используется Z-тест (или хи-квадрат). Мы хотим убедиться, что разница в конверсии — не случайность.
Правило: Доверительный интервал должен быть ≥ 95% для принятия решения.
CR(A) = Конверсии_A / Посетители_A
CR(B) = Конверсии_B / Посетители_B
Uplift = (CR(B) - CR(A)) / CR(A) × 100%Пример расчёта
- Вариант A: 1000 посетителей, 80 конверсий → CR = 8%
- Вариант B: 1000 посетителей, 104 конверсии → CR = 10.4%
- Uplift: +30%
- Уверенность: 97% ✅ Принимаем B
Типичные ошибки
1. Остановить тест слишком рано — дождитесь статистической значимости
2. Тестировать в праздники — аномальный трафик искажает результаты
3. Изменять слишком много элементов одновременно
Сколько ждать?
Используйте калькулятор размера выборки, чтобы рассчитать нужное количество пользователей ДО запуска теста.
Проверьте ваш A/B тест бесплатно с нашим статистическим калькулятором.