Ustawienia cookies
Używamy cookies do analityki. Polityka prywatności Możesz zaakceptować lub odrzucić nieobowiązkowe śledzenie.
Praktyczny przewodnik po „Niedopasowanie proporcji próbki: wykrywanie i przyczyny źródłowe”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Przejdź do narzędzia
Istotność statystyczna (Z-test) i przedziały ufności.
Sample Ratio Mismatch (SRM) oznacza, że rzeczywista podział między grupami testowymi nie zgadza się z zamierzonym podziałem. Zdefiniowałeś 50/50, ale otrzymałeś 51,2% kontrola i 48,8% leczenie. Ten 1,2-procentowy przypadek wygląda na mały, ale przy 100K użytkowników jest to statystycznie niemożliwe przez przypadek.
SRM unieważnia test. Jeśli grupy są nierównie duże z systematycznego powodu, prawdopodobnie różnią się one w składzie. Jakikolwiek obserwowany różnicę konwersji może pochodzić z biasu, a nie od zmiany.
Użyj testu chi-squared dobrej pasowy:
chi2 = sum((observed_i - expected_i)^2 / expected_i)
Przykład: 100 000 użytkowników, oczekiwana 50/50. Obserwowane: 51 200 kontrola, 48 800 leczenie.
chi2 = (51200 - 50000)^2 / 50000 + (48800 - 50000)^2 / 50000
chi2 = 1440000/50000 + 1440000/50000 = 28,8 + 28,8 = 57,6
Z 1 stopniem swobody, wartość krytyczna przy p = 0,001 wynosi 10,83. Nasz 57,6 daleko przekracza to - SRM potwierdzony. W Kalkulator A/B Test możesz wprowadzić rozmiary próbek, aby zweryfikować podział.
Sytuacja: Twój test pokazuje 52 100 vs 47 900 na podziale 50/50 wśród 100K użytkowników.
chi2 = (2100^2 + 2100^2) / 50000 = 176,4 - SRM potwierdzony.Otwórz Kalkulator A/B Test i porównaj rozmiary próbek kontrola/leczenie. Jeśli podział jest nieprawidłowy o więcej niż 1%, zbadaj przed zaufaniem do wyników.
Ten artykuł jest weryfikowany przez zespół redakcyjny Tools Hub pod kątem dokładności, użyteczności praktycznej i zgodności z aktualnymi procesami produktu.
Ostatnia weryfikacja:
Praktyczny przewodnik po „Kiedy przerwać test A/B przy małym natężeniu ruchu”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Bayesowskie a częste testy A/B dla zespołów produktowych”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Testowanie sekwencyjne i pułapka podglądająca”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Testowanie wielowymiarowe a testowanie A/B: ramy decyzyjne”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.