Ustawienia cookies
Używamy cookies do analityki. Polityka prywatności Możesz zaakceptować lub odrzucić nieobowiązkowe śledzenie.
Praktyczny przewodnik po „Kiedy przerwać test A/B przy małym natężeniu ruchu”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Przejdź do narzędzia
Istotność statystyczna (Z-test) i przedziały ufności.
Uruchamiasz test A/B i sprawdzasz wyniki po 3 dniach. Wartość p jest równa 0,03 — istotna! Zatrzymujesz test i wprowadzasz zmiany. Dwa tygodnie później efekt znika.
Wynika to z faktu, że sprawdzanie wyników testu w trakcie jego trwania zwiększa wskaźnik fałszywych pozytywów. Przy alpha = 0,05 i codziennych sprawdzaniach przez 14 dni, rzeczywisty wskaźnik fałszywych pozytywów wzrasta do 20-30%. Matematyka: każde sprawdzanie wyników jest szansą na przypadkowe uzyskanie istotności na podstawie szumu.
Przykład: podstawowa konwersja 4%, MDE 1 pp (bezwzględna), alpha 0,05, moc 80%. Wymagana próba: ~3 800 na wariant. Przy 500 odwiedzających/dzień, to 15 dni. Ustaw przypomnienie kalendarzowe na dzień 15. Nie podglądaj.
Strony z niskim ruchem (poniżej 1 000 odwiedzających/dzień) stają przed prawdziwym problemem: test do wykrycia efektu 1 pp może wymagać 8 tygodni. Opcje:
1. Zwiększ próg MDE. Zaakceptuj, że możesz wykryć tylko większe efekty. MDE 3 pp zamiast 1 pp redukuje wymaganą próbę z ~3 800 do ~430 na wariant. Wymiana: możesz przegapić małe wygrane.
2. Testuj większe zmiany. Zamiast testować kolor przycisku, przetestuj zupełnie inny układ strony. Większe zmiany dają większe efekty, co ułatwia ich wykrycie przy mniejszym ruchu.
3. Użyj sekwencyjnego testowania. Metody takie jak grupowy projekt sekwencyjny pozwalają na podglądanie w predefiniowanych odstępach czasu bez zwiększania alpha. Płacisz ~20-30% premię za rozmiar próby, ale możesz przerwać test wcześniej, jeśli efekt jest duży. Zobacz Sekwencyjne testowanie i pułapka podglądania.
4. Wydłuż okno testowe. Jeśli biznes na to pozwala, przeprowadź test przez 6-8 tygodni. Tylko upewnij się, że uwzględniasz cykle dni tygodnia i weekendów, przeprowadzając pełne tygodnie.
Strona: 300 odwiedzających/dzień, 5% konwersji.
Wniosek: ta strona powinna dążyć do MDE 2-3 pp i testować odważne zmiany, a nie mikro-optymalizacje.
Otwórz Kalkulator rozmiaru próby, wprowadź swój ruch i podstawową stawkę, i znajdź MDE, który Twoja strona może realistycznie wykryć w 2-4 tygodniach.
Uruchom workflow w A/B Test Calculator i zapisz baseline przed skalowaniem.
Ten artykuł jest weryfikowany przez zespół redakcyjny Tools Hub pod kątem dokładności, użyteczności praktycznej i zgodności z aktualnymi procesami produktu.
Ostatnia weryfikacja:
Praktyczny przewodnik po „Testowanie wielowymiarowe a testowanie A/B: ramy decyzyjne”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Jak uniknąć fałszywych wyników pozytywnych w testach A/B”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Niedopasowanie proporcji próbki: wykrywanie i przyczyny źródłowe”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.
Praktyczny przewodnik po „Bayesowskie a częste testy A/B dla zespołów produktowych”: kluczowe kroki, typowe błędy i wdrożenie z użyciem Kalkulator A/B.