Taille de l'échantillon pour un test A/B : comment la calculer correctement
Pourquoi vous ne pouvez pas arrêter un test à l'avance, comment calculer le nombre d'utilisateurs requis avant le lancement et quelle est la puissance du test.
Pourquoi la taille de l''échantillon est-elle si importante ?
La plupart des tests A/B sont arrêtés trop tôt - c''est l''une des principales erreurs du CRO. Un test arrêté au premier « chiffre vert » donne des résultats faux dans 30 à 50 % des cas.
Trois paramètres de calcul
1. Conversion de base (CR) - conversion actuelle du groupe témoin
2. Effet minimum (MDE) - l''amélioration minimale considérée comme importante
3. Puissance statistique - probabilité de détecter un effet réel (généralement 80 %)
Formule d''Evan Miller
n = (Z_α/2 + Z_β)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²
Où :
Z_α/2 = 1,96 (au niveau de signification de 95 %)
Z_β = 0,84 (à 80 % de puissance)
p1 = conversion de base
p2 = conversion attendue Exemples pratiques
| CR de base | MDE | Échantillonnage par groupe |
|---|---|---|
| --- | --- | --- |
| 2% | +20% (jusqu''à 2,4%) | ~40 000 |
| 5% | +10% (jusqu''à 5,5%) | ~28 000 |
| 10% | +10% (jusqu''à 11%) | ~13 000 |
| 10% | +20% (jusqu''à 12%) | ~3 500 |
Conclusion : Plus le MDE et le CR de base sont petits, plus l''échantillon requis est grand.
Règles pour un bon test
- ✅ Calculer l''échantillonnage avant le lancement, pas pendant
- ✅ N''arrêtez pas le test prématurément
- ✅ Tester des cycles hebdomadaires complets (7N jours)
- ❌ Ne pas changer de MDE après le lancement (p-hacking)
Calculez la taille de l''échantillon pour votre test à l''aide de notre calculatrice en utilisant la méthode d''Evan Miller.