Préférences de cookies
Nous utilisons des cookies pour l'analyse. Politique de confidentialité Vous pouvez accepter ou refuser le suivi non essentiel.
Guide pratique sur « Tests séquentiels et piège furtif »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Aller à l'outil
Signification statistique (test Z) et intervalles de confiance.
Vous définissez alpha = 0,05 (5 % de faux positifs) et prévoyez de lancer un test pendant 4 semaines. Mais vous vérifiez les résultats chaque jour. Après 28 vérifications sur des données qui fluctuent aléatoirement, la probabilité d'*au moins un* résultat faux significatif n'est pas de 5 % — elle augmente à environ 25-30 %.
La raison : chaque vérification est un test d'hypothèse. Même s'il n'y a pas d'effet réel, les données aléatoires peuvent parfois sembler significatives. Plus de vérifications = plus de chances pour une fausse alarme. Formellement, le taux d'erreur augmente car la statistique de test suit une marche aléatoire sous l'hypothèse nulle, et elle franchit toute limite fixe avec une probabilité croissante dans le temps.
Les méthodes de tests séquentiels contrôlent le taux global de faux positifs sur plusieurs vérifications en « dépensant » alpha progressivement. Au lieu d'utiliser alpha = 0,05 à chaque vérification, chaque analyse intermédiaire utilise un seuil plus petit, de sorte que le total sur toutes les vérifications reste à 0,05.
Deux approches classiques :
O'Brien-Fleming — très conservateur au début, plus laxiste à la fin. La première vérification peut nécessiter p < 0,0001 pour s'arrêter. La dernière vérification utilise à peu près l'alpha d'origine. Meilleur lorsque vous voulez exécuter le test complet à moins que l'effet ne soit énorme.
| Vérification | Alpha dépensé (cumulatif) | Valeur p de la limite |
|---|---|---|
| 1 sur 4 | 0,0001 | 0,0001 |
| 2 sur 4 | 0,0054 | 0,0049 |
| 3 sur 4 | 0,0221 | 0,0184 |
| 4 sur 4 | 0,0500 | 0,0429 |
Pocock — dépense alpha de manière égale. Chaque vérification utilise à peu près le même seuil (~0,016 pour 4 vérifications). Plus facile à expliquer, mais nécessite un plus grand nombre d'échantillons au total, car vous « utilisez » alpha tôt.
Ligne de base : 5 % de conversion, MDE : 2 pp, alpha : 0,05, puissance : 80 %.
Calculez votre échantillon requis et votre calendrier en utilisant Calculatrice de test A/B.
Déterminez 3-5 vérifications intermédiaires, choisissez les limites O'Brien-Fleming et calculez votre taille d'échantillon ajustée dans Calculatrice de test A/B.
Cet article est relu par l’équipe éditoriale de Tools Hub pour garantir l’exactitude, la valeur pratique et la cohérence avec les workflows produit actuels.
Dernière vérification:
Guide pratique sur « Inadéquation du rapport d'échantillonnage: détection et causes profondes »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Quand arrêter un test A/B en cas de faible trafic »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Tests A/B bayésiens et fréquentistes pour les équipes produit »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Tests multivariés vs tests A/B: un cadre décisionnel »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.