Préférences de cookies
Nous utilisons des cookies pour l'analyse. Politique de confidentialité Vous pouvez accepter ou refuser le suivi non essentiel.
Guide pratique sur « Tests A/B bayésiens et fréquentistes pour les équipes produit »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Aller à l'outil
Signification statistique (test Z) et intervalles de confiance.
Vous avez effectué un test A/B. Contrôle : 1 000 utilisateurs, 50 conversions (5,0 %). Variante : 1 000 utilisateurs, 65 conversions (6,5 %). La variante B est-elle meilleure ? La réponse dépend du cadre que vous utilisez.
Les tests fréquentistes demandent : "S'il n'y avait pas de réelle différence, à quelle fréquence verrions-nous des données aussi extrêmes ?"
Pour l'exemple ci-dessus, un test z à deux proportions donne :
La sortie est binaire : significative ou non. La p-value n'est PAS la probabilité que B soit meilleur — c'est la probabilité de voir ces données (ou plus extrêmes) en supposant que B est identique à A.
Les tests bayésiens demandent : "Étant donné les données, quelle est la probabilité que B soit meilleur que A ?"
En utilisant un a priori Beta(1,1) (non informatif), les distributions postérieures sont :
La simulation de Monte-Carlo (ou le calcul fermé) donne : P(B > A) = 93,8 %.
La sortie est continue : "Il y a une probabilité de 93,8 % que la variante B ait un taux de conversion plus élevé." Vous pouvez également calculer : "L'amélioration attendue est de +1,4 pp, avec un intervalle crédible à 90 % [-0,1 pp, +3,0 pp]."
La méthode fréquentiste est meilleure lorsque :
La méthode bayésienne est meilleure lorsque :
Avec les mêmes données que ci-dessus :
Ni l'une ni l'autre réponse n'est "fausse" — elles répondent à des questions différentes. Utilisez A/B Test Calculator pour calculer les deux perspectives sur vos données.
Entrez vos données de contrôle et de variante dans A/B Test Calculator et comparez la p-value fréquentiste avec la probabilité bayésienne d'amélioration.
Cet article est relu par l’équipe éditoriale de Tools Hub pour garantir l’exactitude, la valeur pratique et la cohérence avec les workflows produit actuels.
Dernière vérification:
Guide pratique sur « Inadéquation du rapport d'échantillonnage: détection et causes profondes »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Quand arrêter un test A/B en cas de faible trafic »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Tests séquentiels et piège furtif »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Tests multivariés vs tests A/B: un cadre décisionnel »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.