Налаштування cookie
Ми використовуємо cookie для аналітики. Політика конфіденційності Ви можете прийняти або відхилити необов'язкове відстеження.
Практичний гайд на тему «Байєсівське та часте тестування A/B для команд продуктів»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.
Перейти до інструменту
Статистична значущість (Z-test) та довірчі інтервали.
Ви провели A/B-тестування. Контрольна група: 1 000 користувачів, 50 конверсій (5,0%). Варіант: 1 000 користувачів, 65 конверсій (6,5%). Чи краще варіант Б? Відповідь залежить від того, яку методологію ви використовуєте.
Частістське тестування ставить питання: "Якби не було реальної різниці, наскільки часто ми б бачили такі екстремальні дані?"
Для прикладу вище, дво-пропорційний z-тест дає:
Вихідні дані є бінарними: статистично значумими або ні. p-значення НЕ є ймовірністю того, що варіант Б кращий — це ймовірність побачити такі дані (або більш екстремальні) за умови, що варіант Б ідентичний варіанту А.
Байєсівське тестування ставить питання: "За даними, яка ймовірність того, що варіант Б кращий за варіант А?"
Використовуючи пріор Beta(1,1) (неінформативний), отримуємо такі апостеріорні розподіли:
Моделювання методом Монте-Карло (або розрахунок у замкнутому вигляді) дає: P(Б > А) = 93,8%.
Вихідні дані є безперервними: "Існує 93,8% ймовірність того, що варіант Б має вищу конверсію." Також можна обчислити: "Очікуване збільшення становить +1,4 п.п., з 90% довірчим інтервалом [-0,1 п.п., +3,0 п.п.]".
Частістський підхід краще використовувати:
Байєсівський підхід краще використовувати:
З тими ж даними вище:
Жодна відповідь не є "неправильною" — вони відповідають на різні питання. Використайте Калькулятор A/B-тесту, щоб обчислити обидва підходи щодо ваших даних.
Введіть дані контрольної групи та варіанту до Калькулятора A/B-тесту та порівняйте частістське p-значення з байєсівською ймовірністю покращення.
Цю статтю перевіряє редакція Tools Hub на точність фактів, практичну цінність і відповідність актуальним продуктовим сценаріям.
Остання перевірка:
Практичний гайд на тему «Невідповідність співвідношення зразків: виявлення та основні причини»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.
Практичний гайд на тему «Коли зупиняти A/B-тест із низьким трафіком»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.
Практичний гайд на тему «Послідовне тестування та пастка підглядання»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.
Практичний гайд на тему «Багатоваріантне проти A/B тестування: система прийняття рішень»: ключові кроки, типові помилки та впровадження через Калькулятор A/B.