Ustawienia cookies
Używamy cookies do analityki. Polityka prywatności Możesz zaakceptować lub odrzucić nieobowiązkowe śledzenie.
Praktyczny przewodnik po „Jak uniknąć fałszywych wyników pozytywnych w testach A/B”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Przejdź do narzędzia
Istotność statystyczna (Z-test) i przedziały ufności.
Fałszywy pozytyw (błąd typu I, alpha błąd) oznacza, że Twoja test wyłania zwycięzcę, kiedy w rzeczywistości nie ma żadnej różnicy. Wyślesz wariant B, myśląc, że podnosi konwersję o 3%, ale w rzeczywistości B jest identyczny z A. "Podwyższenie" było hałasem.
Przy alpha = 0.05, przyjmujesz 5% szansę na to, że takie sytuacje będą miały miejsce. Wydaje się bezpieczne. Nie jest bezpieczne na dużą skalę.
Jeśli wykonasz 20 niezależnych testów przy alpha = 0.05, prawdopodobieństwo wystąpienia *co najmniej jednego* fałszywego pozytywu wynosi:
P(co najmniej 1 fałszywy pozytyw) = 1 - (1 - 0,05)^20 = 1 - 0,95^20 = 0,64
To jest 64% szansa. Po 20 testach, możesz być prawie pewien, że co najmniej jeden z nich będzie fałszywy. Jeśli każdy fałszywy pozytyw dostarcza zmiany, która w rzeczywistości szkodzi konwersji, z czasem zaczniesz gromadzić szkody.
Najprostsza metoda: podziel alpha przez liczbę testów.
Przy 5 miar w jednym testie? Użyj alpha = 0,05 / 5 = 0,01 na jedną miarę.
| Liczba porównań | Bonferroni alpha | Wymagany p-wartość |
|---|---|---|
| 1 | 0,050 | < 0,050 |
| 3 | 0,017 | < 0,017 |
| 5 | 0,010 | < 0,010 |
| 10 | 0,005 | < 0,005 |
| 20 | 0,0025 | < 0,0025 |
Bonferroni jest konserwatywny - zmniejsza moc. Alternatywa mniej konserwatywna to Benjamini-Hochberg (kontroluje fałszywy odkrywany wskaźnik zamiast wskaźnika błędu rodzinnego). Ale Bonferroni jest prosty i nigdy nie jest błędny.
Rejestracja przed testem oznacza dokumentowanie przed testem:
Dlaczego to działa: eliminuje racjonalizację post-hoc. Bez rejestracji przed testem, zespoły nieświadomie testują 10 miar, znajdują jedną istotną wartość i przedstawiają ją jako "wynik". Rejestracja przed testem wymaga szczerości.
Metryki strażnicze to metryki wtórne, które monitorujesz, aby złapać regresje, nie aby znaleźć zwycięzców:
Ustaw progowe metryki strażnicze z wyprzedzeniem: "Jeśli stawka odwrócona wzrośnie o >2 pp, nie wyślij, niezależnie od wyniku głównego wskaźnika". Ewaluuj strażnice w Kalkulatorze Testu A/B.
Przed następnym testem, napisz swojego głównego wskaźnika, poziom alpha i rozmiar próby. Następnie oblicz wymaganą długość w Kalkulatorze Testu A/B i zobowiązaj się do niej.
Ten artykuł jest weryfikowany przez zespół redakcyjny Tools Hub pod kątem dokładności, użyteczności praktycznej i zgodności z aktualnymi procesami produktu.
Ostatnia weryfikacja:
Praktyczny przewodnik po „Kiedy przerwać test A/B przy małym natężeniu ruchu”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Niedopasowanie proporcji próbki: wykrywanie i przyczyny źródłowe”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Bayesowskie a częste testy A/B dla zespołów produktowych”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Testowanie sekwencyjne i pułapka podglądająca”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.