Préférences de cookies
Nous utilisons des cookies pour l'analyse. Politique de confidentialité Vous pouvez accepter ou refuser le suivi non essentiel.
Guide pratique sur « Quand arrêter un test A/B en cas de faible trafic »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Aller à l'outil
Signification statistique (test Z) et intervalles de confiance.
Vous lancez un test A/B et vérifiez les résultats le jour 3. La valeur p est de 0.03 — significatif ! Vous arrêtez le test et déployez. Deux semaines plus tard, le gain disparaît.
Cela se produit parce que la vérification d'un test en cours à plusieurs reprises gonfle le taux de faux positifs. Avec alpha = 0.05 et des vérifications quotidiennes sur 14 jours, le taux de faux positifs réel grimpe à 20-30%. La mathématique : chaque regard est une chance d'accidentellement frapper la signification sur le bruit aléatoire.
Exemple : taux de conversion de base 4%, MDE 1 pp (absolu), alpha 0.05, puissance 80%. Taille d'échantillon requise : ~3 800 par variante. À 500 visiteurs/jour, cela prend 15 jours. Fixez un rappel dans votre calendrier pour le jour 15. N'observez pas.
Les sites à faible trafic (sous 1 000 visiteurs/jour) font face à un vrai problème : le test pour détecter un gain de 1 pp peut nécessiter 8 semaines. Options :
1. Augmentez votre seuil de MDE. Acceptez que vous pouvez seulement détecter des effets plus importants. Un MDE de 3 pp au lieu de 1 pp réduit la taille d'échantillon requise de ~3 800 à ~430 par variante. Le compromis : vous pourriez manquer de petits gains.
2. Testez des changements plus importants. Au lieu de tester la couleur du bouton, testez un tout nouveau design de page. Les changements plus importants produisent des effets plus importants, ce qui les rend détectables avec moins de trafic.
3. Utilisez des tests séquentiels. Les méthodes comme le design séquentiel de groupe vous permettent de regarder à des intervalles prédéfinis sans gonfler alpha. Vous payez un supplément de ~20-30% pour la taille d'échantillon, mais vous pouvez arrêter tôt si l'effet est important. Consultez Tests séquentiels et le piège du regard.
4. Étendez la fenêtre de test. Si l'entreprise le permet, exécutez le test pendant 6-8 semaines. Assurez-vous toutefois de tenir compte des cycles de semaine/week-end en exécutant des semaines complètes.
Site : 300 visiteurs/jour, 5% de conversion.
Conclusion : ce site devrait cibler un MDE de 2-3 pp et tester des changements audacieux, pas des micro-optimisations.
Ouvrez Calculateur de taille d'échantillon, entrez votre trafic et votre taux de conversion de base, et trouvez le MDE que votre site peut détecter en 2-4 semaines.
| Paramètre | Description |
|---|---|
| Traffic | Nombre de visiteurs par jour |
| Taux de conversion de base | Taux de conversion avant le test |
| MDE | Effet minimum détectable |
| Alpha | Niveau de signification |
| Puissance | Puissance du test |
| MDE | Taille d'échantillon requise |
|---|---|
| 1 pp | ~3 800/variante |
| 2 pp | ~1 950/variante |
| 3 pp | ~870/variante |
Executez le flux dans A/B Test Calculator et enregistrez la baseline avant de scaler.
Cet article est relu par l’équipe éditoriale de Tools Hub pour garantir l’exactitude, la valeur pratique et la cohérence avec les workflows produit actuels.
Dernière vérification:
Guide pratique sur « Tests multivariés vs tests A/B: un cadre décisionnel »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Comment éviter les faux positifs dans les tests A/B »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Inadéquation du rapport d'échantillonnage: détection et causes profondes »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.
Guide pratique sur « Tests A/B bayésiens et fréquentistes pour les équipes produit »: étapes clés, erreurs fréquentes et mise en œuvre avec Calculatrice A/B.