Cookie-Einstellungen
Wir verwenden Cookies für Analysen. Datenschutzerklärung Du kannst nicht notwendiges Tracking akzeptieren oder ablehnen.
Praxisleitfaden zu „Nicht übereinstimmendes Probenverhältnis: Erkennung und Ursachen“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Gehen Sie zu Werkzeug
Statistische Signifikanz (Z-Test) und Konfidenzintervalle.
Ein Sample Ratio Mismatch (SRM) bedeutet, dass die tatsächliche Aufteilung zwischen Testgruppen nicht mit der geplanten Aufteilung übereinstimmt. Sie haben 50/50 konfiguriert, aber 51,2% Kontrolle und 48,8% Behandlung erhalten. Diese Lücke von 1,2 Prozentpunkten sieht klein aus, aber bei 100.000 Benutzern ist es statistisch unmöglich durch Zufall.
SRM macht Ihren Test ungültig. Wenn Gruppen aufgrund eines *systematischen* Grundes ungleich groß sind, unterscheiden sie sich wahrscheinlich auch in ihrer Zusammensetzung. Jeder beobachtete Unterschied in der Konversion kann aus der Verzerrung stammen, nicht aus Ihrer Änderung.
Verwenden Sie einen Chi-Quadrat-Test für die Anpassungsgüte:
chi2 = sum((observed_i - expected_i)^2 / expected_i)
Beispiel: 100.000 Benutzer, erwartet 50/50. Beobachtet: 51.200 Kontrolle, 48.800 Behandlung.
chi2 = (51200 - 50000)^2 / 50000 + (48800 - 50000)^2 / 50000
chi2 = 1440000/50000 + 1440000/50000 = 28,8 + 28,8 = 57,6
Mit 1 Freiheitsgrad ist der kritische Wert bei p = 0,001 10,83. Unser 57,6 übersteigt dies deutlich — SRM ist bestätigt. Im A/B-Test-Rechner können Sie Stichprobengrößen eingeben, um das Verhältnis zu überprüfen.
Szenario: Ihr Test zeigt 52.100 vs. 47.900 bei einer 50/50-Aufteilung über 100.000 Benutzer.
chi2 = (2100^2 + 2100^2) / 50000 = 176,4 — SRM bestätigt.Öffnen Sie den A/B-Test-Rechner und vergleichen Sie Ihre Kontroll-/Behandlungsstichprobengrößen. Wenn das Verhältnis um mehr als 1% abweicht, untersuchen Sie, bevor Sie die Ergebnisse vertrauen.
Dieser Artikel wird von der Tools Hub Redaktion auf fachliche Genauigkeit, praktische Relevanz und Konsistenz mit aktuellen Produkt-Workflows geprüft.
Zuletzt geprüft:
Praxisleitfaden zu „Wann sollte ein A/B-Test bei geringem Traffic beendet werden?“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Praxisleitfaden zu „Bayesian vs. Frequentist A/B-Tests für Produktteams“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Praxisleitfaden zu „Sequentielles Testen und die Peeking-Falle“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Praxisleitfaden zu „Multivariate vs. A/B-Tests: Ein Entscheidungsrahmen“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.