Тестування A/B: посібник для початківців
Як правильно проводити A/B-тести, обчислювати статистичну значущість і уникати типових помилок. З прикладами з електронної комерції.
Що таке A/B тест?
А/Б-тест — це експеримент, у якому ви показуєте двом ідентичним групам користувачів різні версії сторінки (А — контрольну, Б — експериментальну) і вимірюєте, яка з них дає найкращий результат.
Як працює статистична значущість?
Тестування A/B використовує Z-тест (або хі-квадрат). Ми хочемо переконатися, що різниця в конвертації не випадкова.
Правило: для прийняття рішення довірчий інтервал має бути ≥ 95%.
CR(A) = Conversions_A / Visitors_A
CR(B) = Conversions_B / Visitors_B
Підйом = (CR(B) - CR(A)) / CR(A) × 100% Приклад розрахунку
- Варіант A: 1000 відвідувачів, 80 переходів → CR = 8%
- Варіант B: 1000 відвідувачів, 104 конверсії → CR = 10,4%
- Підвищення: +30%
- Впевненість: 97% ✅ Прийняти B
Типові помилки
1. Зупиніть тест надто рано - дочекайтеся статистичної значущості
2. Тестуйте у вихідні дні - ненормальний трафік спотворює результати
3. Змінити занадто багато елементів одночасно
Як довго чекати?
Використовуйте калькулятор розміру вибірки, щоб обчислити необхідну кількість користувачів ПЕРЕД запуском тесту.
Безкоштовно протестуйте свій A/B-тест за допомогою нашого статистичного калькулятора.