Wann sollte ein A/B-Test bei geringem Traffic beendet werden?

Das Peeking-Problem

Sie starten einen A/B-Test und überprüfen die Ergebnisse am dritten Tag. Der p-Wert beträgt 0,03 — signifikant. Sie stoppen den Test und implementieren die Änderung. Zwei Wochen später verschwindet der Effekt.

Dies geschieht, weil das Überprüfen eines laufenden Tests mehrmals die Falsch-Positiv-Rate aufbläht. Mit alpha = 0,05 und täglichen Überprüfungen über 14 Tage steigt die tatsächliche Falsch-Positiv-Rate auf 20-30%. Die Mathematik: Jeder Blick ist eine Chance, zufällig auf Signifikanz bei zufälligem Rauschen zu stoßen.

Fixer Horizont-Ansatz

Beispiel: Baseline-Konversionsrate 4%, MDE 1 pp (absolut), alpha 0,05, Power 80%. Erforderliche Stichprobe: ~3.800 pro Variante. Bei 500 Besuchern/Tag sind das 15 Tage. Setzen Sie einen Kalender-Erinnerungstermin für den 15. Tag. Überprüfen Sie nicht.

Was tun, wenn Sie die Stichprobengröße nicht erreichen können

Webseiten mit geringem Traffic (unter 1.000 Besuchern/Tag) haben ein echtes Problem: Der Test, um einen Effekt von 1 pp zu erkennen, kann 8 Wochen dauern. Optionen:

1. Erhöhen Sie Ihre MDE-Schwelle. Akzeptieren Sie, dass Sie nur größere Effekte erkennen können. Eine MDE von 3 pp anstelle von 1 pp reduziert die erforderliche Stichprobe von ~3.800 auf ~430 pro Variante. Der Kompromiss: Sie können kleine Gewinne verpassen.

2. Testen Sie größere Änderungen. Anstelle des Testens der Schaltflächenfarbe testen Sie ein komplett anderes Seitenaufbau. Größere Änderungen produzieren größere Effekte, die mit weniger Traffic erkennbar sind.

3. Verwenden Sie sequenzielles Testen. Methoden wie gruppenweise sequenzieller Design ermöglichen es Ihnen, zu vordefinierten Intervallen hinzuschauen, ohne alpha aufzublasen. Sie zahlen einen Aufpreis von ~20-30% für die Stichprobengröße, aber Sie können frühzeitig stoppen, wenn der Effekt groß ist. Siehe Sequenzielles Testen und die Peeking-Falle.

4. Erweitern Sie das Testfenster. Wenn das Geschäft es zulässt, führen Sie den Test über 6-8 Wochen durch. Stellen Sie sicher, dass Sie für wochentägliche/wochenendliche Zyklen durch die Durchführung von vollständigen Wochen berücksichtigen.

Reales Beispiel mit Zahlen

Webseite: 300 Besucher/Tag, 5% Konversionsrate.

Fazit: Diese Webseite sollte ein MDE von 2-3 pp anstreben und mutige Änderungen testen, nicht Mikro-Optimierungen.

Regeln für das Testen mit geringem Traffic

Verwandte Ressourcen

Nächster Schritt

Öffnen Sie den Sample Size Calculator, geben Sie Ihren Traffic und Ihre Baseline-Rate ein und finden Sie die MDE, die Ihre Webseite realistisch in 2-4 Wochen erkennen kann.

Naechster Schritt

Fuehre den Workflow direkt in A/B Test Calculator aus und speichere die Baseline.