Préférences de cookies
Nous utilisons des cookies pour l'analyse. Politique de confidentialité Vous pouvez accepter ou refuser le suivi non essentiel.
Guide pratique sur « Comment éviter les faux positifs dans les tests A/B »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Aller à l'outil
Signification statistique (test Z) et intervalles de confiance.
Un faux positif (erreur de type I, erreur alpha) signifie que votre test déclare un gagnant alors qu'il n'y a pas de véritable différence. Vous déployez la variante B en pensant qu'elle améliore la conversion de 3 %, mais en réalité B est identique à A. Le "gain" était du bruit.
À alpha = 0,05, vous acceptez un risque de 5 % de cela par test. Cela semble sûr. Ce n'est pas sûr à grande échelle.
Si vous exécutez 20 tests indépendants à alpha = 0,05, la probabilité d'au moins un faux positif est :
P(au moins 1 faux positif) = 1 - (1 - 0,05)^20 = 1 - 0,95^20 = 0,64
C'est une chance de 64 %. Avec 20 tests, vous êtes virtuellement assuré d'avoir au moins un faux gagnant. Si chaque faux positif déploie un changement qui nuit réellement à la conversion, vous accumulez des dégâts au fil du temps.
La solution la plus simple : divisez alpha par le nombre de tests.
Exécutez-vous 5 métriques dans un test ? Utilisez alpha = 0,05 / 5 = 0,01 par métrique.
| Nombre de comparaisons | Alpha de Bonferroni | Valeur p requise |
|---|---|---|
| 1 | 0,050 | < 0,050 |
| 3 | 0,017 | < 0,017 |
| 5 | 0,010 | < 0,010 |
| 10 | 0,005 | < 0,005 |
| 20 | 0,0025 | < 0,0025 |
Bonferroni est conservateur — il réduit la puissance. Une alternative moins conservatrice est Benjamini-Hochberg (contrôle le taux de découverte fausse au lieu du taux d'erreur familiale). Mais Bonferroni est simple et jamais faux.
Le pré-enregistrement signifie documenter avant le test :
Pourquoi cela fonctionne : cela élimine la rationalisation a posteriori. Sans pré-enregistrement, les équipes testent inconsciemment 10 métriques, trouvent un résultat significatif et le présentent comme "la" découverte. Le pré-enregistrement force l'honnêteté.
Les métriques de garde sont des métriques secondaires que vous surveillez pour détecter les régressions, et non pour trouver des gains :
Définissez les seuils de métriques de garde à l'avance : "Si le taux de rebond augmente de >2 pp, ne déployez pas, quel que soit le résultat de la métrique principale." Évaluez les métriques de garde dans Calculatrice de test A/B.
Avant votre prochain test, écrivez votre métrique principale, votre niveau alpha et votre taille d'échantillon. Calculez ensuite la durée requise dans Calculatrice de test A/B et engagez-vous à la respecter.
Cet article est relu par l’équipe éditoriale de Tools Hub pour garantir l’exactitude, la valeur pratique et la cohérence avec les workflows produit actuels.
Dernière vérification:
Guide pratique sur « Quand arrêter un test A/B en cas de faible trafic »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Inadéquation du rapport d'échantillonnage: détection et causes profondes »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Tests A/B bayésiens et fréquentistes pour les équipes produit »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Tests séquentiels et piège furtif »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.