Stichprobengröße für einen A/B-Test: So berechnen Sie sie richtig
Warum Sie einen Test nicht vorzeitig beenden können, wie Sie die erforderliche Anzahl von Benutzern vor dem Start berechnen und was die Testleistung ist.
Warum ist die Stichprobengröße so wichtig?
Die meisten A/B-Tests werden zu früh abgebrochen – das ist einer der Hauptfehler bei CRO. Ein Test, der bei der ersten „grünen Zahl“ abgebrochen wird, führt in 30–50 % der Fälle zu falschen Ergebnissen.
Drei Berechnungsparameter
1. Basiskonvertierung (CR) – aktuelle Konvertierung der Kontrollgruppe
2. Minimaler Effekt (MDE) – die minimale Verbesserung, die als wichtig erachtet wird
3. Statistische Aussagekraft – Wahrscheinlichkeit, einen echten Effekt zu erkennen (normalerweise 80 %).
Evan Miller Formel
„
n = (Z_α/2 + Z_β)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²
Wo:
Z_α/2 = 1,96 (bei 95 % Signifikanzniveau)
Z_β = 0,84 (bei 80 % Leistung)
p1 = Basisumrechnung
p2 = erwartete Konvertierung
„
Praxisbeispiele
| Grundlegende CR | MDE | Probenahme pro Gruppe |
|---|---|---|
| --- | --- | --- |
| 2% | +20 % (bis zu 2,4 %) | ~40.000 |
| 5 % | +10 % (bis zu 5,5 %) | ~28.000 |
| 10 % | +10 % (bis zu 11 %) | ~13.000 |
| 10 % | +20 % (bis zu 12 %) | ~3 500 |
Schlussfolgerung: Je kleiner MDE und Basis-CR sind, desto größer ist die erforderliche Stichprobe.
Regeln für einen guten Test
- ✅ Berechnen Sie die Probenahme vor dem Start, nicht während
- ✅ Brechen Sie den Test nicht vorzeitig ab
- ✅ Testen Sie vollständige wöchentliche Zyklen (7N Tage)
- ❌ MDE nach dem Start nicht ändern (P-Hacking)
Berechnen Sie die Stichprobengröße für Ihren Test mit unserem Rechner und der Methode von Evan Miller.