Wielkość próby do testu A/B: jak ją poprawnie obliczyć
Dlaczego nie można przerwać testu przed czasem, jak obliczyć wymaganą liczbę użytkowników przed uruchomieniem i jaka jest moc testu.
Dlaczego wielkość próbki jest tak ważna?
Większość testów A/B jest zatrzymywana zbyt wcześnie – to jeden z głównych błędów w CRO. Test zatrzymany na pierwszej „zielonej cyfrze” daje fałszywe wyniki w 30–50% przypadków.
Trzy parametry obliczeniowe
1. Przeliczenie bazy (CR) – przeliczenie prądu grupy kontrolnej
2. Efekt minimalny (MDE) – minimalna poprawa uznawana za istotną
3. Moc statystyczna – prawdopodobieństwo wykrycia rzeczywistego efektu (zwykle 80%)
Formuła Evana Millera
n = (Z_α/2 + Z_β)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²
Gdzie:
Z_α/2 = 1,96 (przy poziomie istotności 95%)
Z_β = 0,84 (przy 80% mocy)
p1 = konwersja podstawowa
p2 = oczekiwana konwersja Praktyczne przykłady
| Podstawowy CR | MDE | Pobieranie próbek na grupę |
|---|---|---|
| --- | --- | --- |
| 2% | +20% (do 2,4%) | ~40 000 |
| 5% | +10% (do 5,5%) | ~28 000 |
| 10% | +10% (do 11%) | ~13 000 |
| 10% | +20% (do 12%) | ~3 500 |
Wniosek: Im mniejszy MDE i podstawowy CR, tym większa wymagana próbka.
Zasady dobrego testu
- ✅ Oblicz pobieranie próbek przed startem, a nie w jego trakcie
- ✅Nie przerywaj testu wcześniej
- ✅ Testuj pełne cykle tygodniowe (7N dni)
- ❌ Nie zmieniaj MDE po uruchomieniu (p-hakowanie)
Oblicz wielkość próbki do testu za pomocą naszego kalkulatora, korzystając z metody Evana Millera.