Preferencias de cookies
Usamos cookies para analítica. Política de privacidad Puedes aceptar o rechazar el seguimiento no esencial.
Guía práctica sobre «Cuándo detener una prueba A/B con poco tráfico»: pasos clave, errores comunes e implementación con Calculadora A/B.
Ir a la herramienta
Significancia estadística (Z-test) e intervalos de confianza.
Usted lanza una prueba A/B y revisa los resultados al tercer día. El valor p es 0,03 — ¡significativo! Usted detiene la prueba y la implementa. Dos semanas después, el aumento desaparece.
Esto sucede porque revisar una prueba en curso varias veces infla la tasa de falsos positivos. Con alfa = 0,05 y revisiones diarias durante 14 días, la tasa real de falsos positivos aumenta a 20-30%. La matemática: cada mirada es una oportunidad para alcanzar accidentalmente significancia en ruido aleatorio.
Ejemplo: conversión básica del 4%, MDE de 1 pp (absoluto), alfa de 0,05, potencia del 80%. Muestra requerida: ~3,800 por variante. A 500 visitantes/día, eso es 15 días. Establezca un recordatorio en el calendario para el día 15. No mire.
Los sitios con bajo tráfico (menos de 1,000 visitantes/día) enfrentan un problema real: la prueba para detectar un aumento de 1 pp puede necesitar 8 semanas. Opciones:
1. Aumente su umbral de MDE. Acepte que solo puede detectar efectos más grandes. Un MDE de 3 pp en lugar de 1 pp reduce la muestra requerida de ~3,800 a ~430 por variante. El intercambio: puede perder pequeñas ganancias.
2. Pruebe cambios más grandes. En lugar de probar el color del botón, pruebe un diseño de página completamente diferente. Los cambios más grandes producen efectos más grandes, lo que los hace detectables con menos tráfico.
3. Utilice pruebas secuenciales. Métodos como el diseño secuencial de grupos le permiten mirar en intervalos predefinidos sin inflar alfa. Paga una prima de ~20-30% en el tamaño de muestra, pero puede detenerse temprano si el efecto es grande. Consulte Pruebas secuenciales y la trampa de las miradas indiscretas.
4. Extienda la ventana de prueba. Si el negocio lo permite, ejecute la prueba durante 6-8 semanas. Solo asegúrese de tener en cuenta los ciclos de días laborables y fines de semana ejecutando semanas completas.
Sitio: 300 visitantes/día, conversión del 5%.
Conclusión: este sitio debe apuntar a un MDE de 2-3 pp y probar cambios audaces, no micro-optimizaciones.
Abra Calculadora de Tamaño de Muestra, ingrese su tráfico y tasa básica, y encuentre el MDE que su sitio puede detectar de manera realista en 2-4 semanas.
Ejecuta el flujo en A/B Test Calculator y guarda el baseline antes de escalar.
Este artículo es revisado por el equipo editorial de Tools Hub para validar precisión, relevancia práctica y consistencia con los flujos actuales del producto.
Última revisión:
Guía práctica sobre «Pruebas multivariadas versus pruebas A/B: un marco de decisión»: pasos clave, errores comunes e implementación con Calculadora A/B.
Guía práctica sobre «Cómo evitar falsos positivos en las pruebas A/B»: pasos clave, errores comunes e implementación con Calculadora A/B.
Guía práctica sobre «Discrepancia en la proporción de muestras: detección y causas fundamentales»: pasos clave, errores comunes e implementación con Calculadora A/B.
Guía práctica sobre «Pruebas A/B bayesianas frente a frecuentistas para equipos de productos»: pasos clave, errores comunes e implementación con Calculadora A/B.