Preferencias de cookies
Usamos cookies para analítica. Política de privacidad Puedes aceptar o rechazar el seguimiento no esencial.
Guía práctica sobre «Pruebas secuenciales y la trampa de las miradas»: pasos clave, errores comunes e implementación con Calculadora A/B.
Ir a la herramienta
Significancia estadística (Z-test) e intervalos de confianza.
Usted establece alpha = 0.05 (tasa de falsos positivos del 5%) y planea realizar una prueba durante 4 semanas. Pero revisa los resultados cada día. Después de 28 revisiones en datos que fluctúan aleatoriamente, la probabilidad de *al menos un* resultado significativo falso no es del 5% — sube a aproximadamente 25-30%.
La razón: cada revisión es una prueba de hipótesis. Incluso si no hay un efecto real, los datos aleatorios ocasionalmente parecen significativos. Más revisiones = más oportunidades para un falso alarma. Formalmente, la tasa de error se infla porque la estadística de prueba sigue un paseo aleatorio bajo la hipótesis nula, y cruza cualquier límite fijo con una probabilidad creciente con el tiempo.
Los métodos de prueba secuenciales controlan la tasa de falsos positivos generalizada a través de múltiples miradas "gastando" alpha gradualmente. En lugar de utilizar alpha = 0.05 en cada mirada, cada análisis intermedio utiliza un umbral más pequeño, de modo que el total a lo largo de todas las miradas se mantenga en 0.05.
Dos enfoques clásicos:
O'Brien-Fleming — muy conservador temprano, leniente tarde. La primera mirada podría requerir p < 0.0001 para detenerse. La última mirada utiliza aproximadamente el alpha original. Mejor cuando desea realizar la prueba completa a menos que el efecto sea enorme.
| Mirada | Alpha gastado (acumulado) | Valor p límite |
|---|---|---|
| 1 de 4 | 0.0001 | 0.0001 |
| 2 de 4 | 0.0054 | 0.0049 |
| 3 de 4 | 0.0221 | 0.0184 |
| 4 de 4 | 0.0500 | 0.0429 |
Pocock — gasta alpha de manera uniforme. Cada mirada utiliza aproximadamente el mismo umbral (~0.016 para 4 miradas). Más fácil de explicar pero requiere un tamaño de muestra total mayor porque "se utiliza" alpha temprano.
Basado: 5% de conversión, MDE: 2 pp, alpha: 0.05, potencia: 80%.
Compute su tamaño de muestra requerido y horario utilizando Calculadora de Prueba A/B.
Decida en 3-5 miradas intermedias, elija límites de O'Brien-Fleming y compute su tamaño de muestra ajustado en Calculadora de Prueba A/B.
Este artículo es revisado por el equipo editorial de Tools Hub para validar precisión, relevancia práctica y consistencia con los flujos actuales del producto.
Última revisión:
Guía práctica sobre «Discrepancia en la proporción de muestras: detección y causas fundamentales»: pasos clave, errores comunes e implementación con Calculadora A/B.
Guía práctica sobre «Cuándo detener una prueba A/B con poco tráfico»: pasos clave, errores comunes e implementación con Calculadora A/B.
Guía práctica sobre «Pruebas A/B bayesianas frente a frecuentistas para equipos de productos»: pasos clave, errores comunes e implementación con Calculadora A/B.
Guía práctica sobre «Pruebas multivariadas versus pruebas A/B: un marco de decisión»: pasos clave, errores comunes e implementación con Calculadora A/B.