Cookie-Einstellungen
Wir verwenden Cookies für Analysen. Datenschutzerklärung Du kannst nicht notwendiges Tracking akzeptieren oder ablehnen.
Praxisleitfaden zu „Bayesian vs. Frequentist A/B-Tests für Produktteams“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Gehen Sie zu Werkzeug
Statistische Signifikanz (Z-Test) und Konfidenzintervalle.
Sie haben einen A/B-Test durchgeführt. Kontrolle: 1.000 Nutzer, 50 Umwandlungen (5,0%). Variante: 1.000 Nutzer, 65 Umwandlungen (6,5%). Ist Variante B besser? Die Antwort hängt davon ab, welches Framework Sie verwenden.
Frequentistische Tests fragen: "Wenn es keine reale Differenz gäbe, wie oft würden wir Daten sehen, die so extrem sind?"
Für das Beispiel oben gibt ein zweiparametrischer z-Test:
Die Ausgabe ist binär: signifikant oder nicht. Der p-Wert ist NICHT die Wahrscheinlichkeit, dass B besser ist – es ist die Wahrscheinlichkeit, diese Daten (oder extremer) zu sehen, vorausgesetzt, B ist identisch mit A.
Bayessche Tests fragen: "Gegeben die Daten, was ist die Wahrscheinlichkeit, dass B besser als A ist?"
Mit einem Beta(1,1)-Prior (uninformativ) sind die Posterior-Verteilungen:
Monte-Carlo-Simulation (oder geschlossene Formberechnung) ergibt: P(B > A) = 93,8%.
Die Ausgabe ist kontinuierlich: "Es besteht eine 93,8%ige Chance, dass Variante B eine höhere Umwandlungsrate hat." Sie können auch berechnen: "Erwartete Steigerung: +1,4 pp, mit 90%iger Überzeugungsintervall [-0,1 pp, +3,0 pp]."
Frequentist ist besser, wenn:
Bayessche ist besser, wenn:
Mit den gleichen Daten oben:
Keine Antwort ist "falsch" – sie beantworten unterschiedliche Fragen. Verwenden Sie A/B-Test-Calculator , um beide Perspektiven auf Ihre Daten zu berechnen.
Geben Sie Ihre Kontroll- und Variante-Daten in A/B-Test-Calculator ein und vergleichen Sie den frequentistischen p-Wert mit der bayesschen Wahrscheinlichkeit der Verbesserung.
Dieser Artikel wird von der Tools Hub Redaktion auf fachliche Genauigkeit, praktische Relevanz und Konsistenz mit aktuellen Produkt-Workflows geprüft.
Zuletzt geprüft:
Praxisleitfaden zu „Nicht übereinstimmendes Probenverhältnis: Erkennung und Ursachen“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Praxisleitfaden zu „Wann sollte ein A/B-Test bei geringem Traffic beendet werden?“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Praxisleitfaden zu „Sequentielles Testen und die Peeking-Falle“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.
Praxisleitfaden zu „Multivariate vs. A/B-Tests: Ein Entscheidungsrahmen“: zentrale Schritte, typische Fehler und Umsetzung mit A/B-Rechner.