Настройки cookie
Мы используем cookie для аналитики. Политика конфиденциальности Вы можете принять или отклонить необязательный трекинг.
Практический гайд по теме «Несоответствие соотношения выборки: обнаружение и основные причины»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Перейти к инструменту
Статистическая значимость (Z-test) и доверительные интервалы.
Sample Ratio Mismatch (SRM) — это расхождение фактического распределения пользователей между группами теста с заданным. Вы настроили 50/50, а получили 51,2% контроль и 48,8% вариант. Разница в 1,2 процентных пункта кажется малой, но при 100 000 пользователей она статистически невозможна случайно.
SRM делает тест невалидным. Если группы неравны по систематической причине, они скорее всего различаются и по составу. Любая разница в конверсии может быть следствием смещения, а не вашего изменения.
Используйте критерий согласия хи-квадрат:
chi2 = sum((observed_i - expected_i)^2 / expected_i)
Пример: 100 000 пользователей, ожидаемое распределение 50/50. Факт: 51 200 контроль, 48 800 вариант.
chi2 = (51200 - 50000)^2 / 50000 + (48800 - 50000)^2 / 50000
chi2 = 1 440 000/50 000 + 1 440 000/50 000 = 28,8 + 28,8 = 57,6
При 1 степени свободы критическое значение для p = 0,001 равно 10,83. Наше 57,6 намного больше — SRM подтверждён. В A/B-тест калькуляторе можно ввести размеры выборок и проверить соотношение.
Сценарий: тест показывает 52 100 vs 47 900 при 50/50 на 100 000 пользователей.
chi2 = (2100^2 + 2100^2) / 50000 = 176,4 — SRM подтверждён.Откройте A/B-тест калькулятор и сравните размеры выборок контроля и варианта. Если расхождение больше 1%, расследуйте причину, прежде чем доверять результатам.
Материал проверен редакцией Tools Hub на точность формулировок, практическую применимость и соответствие актуальным сценариям использования инструментов.
Проверено:
Практический гайд по теме «Когда остановить A/B-тест при низком трафике»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Байесовское и частое A/B-тестирование для продуктовых команд»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Последовательное тестирование и ловушка для подглядывания»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.
Практический гайд по теме «Многовариантное тестирование против A/B: система принятия решений»: ключевые шаги, типичные ошибки и внедрение через Калькулятор A/B.