Настройки cookie
Мы используем cookie для аналитики. Политика конфиденциальности Вы можете принять или отклонить необязательный трекинг.
Практический гайд по теме «Байесовское и частое A/B-тестирование для продуктовых команд»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Перейти к инструменту
Статистическая значимость (Z-test) и доверительные интервалы.
Вы провели A/B-тест. Контроль: 1 000 пользователей, 50 конверсий (5,0%). Вариант: 1 000 пользователей, 65 конверсий (6,5%). Вариант B лучше? Ответ зависит от подхода.
Частотный тест спрашивает: «Если бы разницы не было, как часто мы наблюдали бы такие или более экстремальные данные?»
Для примера выше двухвыборочный z-тест пропорций даёт:
Результат бинарный: значимо или нет. P-value — это НЕ вероятность того, что B лучше. Это вероятность получить такие данные (или более экстремальные) при условии, что B и A идентичны.
Байесовский тест спрашивает: «Учитывая данные, какова вероятность, что B лучше A?»
С априорным распределением Beta(1,1) (неинформативный приор) апостериорные распределения:
Метод Монте-Карло (или аналитическое решение) даёт: P(B > A) = 93,8%.
Результат непрерывный: «С вероятностью 93,8% вариант B имеет более высокую конверсию». Также можно оценить: «Ожидаемый подъём +1,4 пп, 90%-й доверительный интервал [-0,1 пп; +3,0 пп]».
Частотный подход лучше, когда:
Байесовский подход лучше, когда:
На тех же данных:
Ни один ответ не «неправильный» — они отвечают на разные вопросы. Используйте A/B-тест калькулятор, чтобы посчитать оба варианта на своих данных.
Введите данные контроля и варианта в A/B-тест калькулятор и сравните частотный p-value с байесовской вероятностью улучшения.
Материал проверен редакцией Tools Hub на точность формулировок, практическую применимость и соответствие актуальным сценариям использования инструментов.
Проверено:
Практический гайд по теме «Несоответствие соотношения выборки: обнаружение и основные причины»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Когда остановить A/B-тест при низком трафике»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Последовательное тестирование и ловушка для подглядывания»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Многовариантное тестирование против A/B: система принятия решений»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.