Tamaño de muestra para un test A/B: cómo calcularlo correctamente
Por qué no se puede detener una prueba antes de tiempo, cómo calcular la cantidad requerida de usuarios antes de iniciarla y qué es la potencia de la prueba.
¿Por qué es tan importante el tamaño de la muestra?
La mayoría de las pruebas A/B se detienen demasiado pronto: este es uno de los principales errores en CRO. Una prueba detenida en el primer “número verde” da resultados falsos en el 30-50% de los casos.
Tres parámetros de cálculo
1. Conversión de base (CR): conversión actual del grupo de control
2. Efecto mínimo (MDE): la mejora mínima considerada importante
3. Poder estadístico: probabilidad de detectar un efecto real (normalmente 80%)
Fórmula de Evan Miller
n = (Z_α/2 + Z_β)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²
donde:
Z_α/2 = 1,96 (al nivel de significancia del 95%)
Z_β = 0,84 (al 80% de potencia)
p1 = conversión de bases
p2 = conversión esperada Ejemplos prácticos
| CR básica | MDE | Muestreo por grupo |
|---|---|---|
| --- | --- | --- |
| 2% | +20% (hasta 2,4%) | ~40.000 |
| 5% | +10% (hasta 5,5%) | ~28.000 |
| 10% | +10% (hasta 11%) | ~13.000 |
| 10% | +20% (hasta 12%) | ~3 500 |
Conclusión: Cuanto más pequeños sean el MDE y la CR base, mayor será la muestra requerida.
Reglas para una buena prueba
- ✅ Calcule el muestreo antes del lanzamiento, no durante
- ✅ No detener la prueba antes de tiempo
- ✅ Pruebe ciclos semanales completos (7N días)
- ❌ No cambiar MDE después del lanzamiento (p-hacking)
Calcule el tamaño de la muestra para su prueba usando nuestra calculadora utilizando el método de Evan Miller.