Preferências de cookies
Usamos cookies para análises. Política de Privacidade Você pode aceitar ou recusar rastreamento não essencial.
Guia prático sobre "Como evitar falsos positivos em testes A/B": etapas principais, erros comuns e implementação com Calculadora A/B.
Vá para a ferramenta
Significância estatística (Z-test) e intervalos de confiança.
Um falso positivo (erro Tipo I, erro alfa) significa que seu teste declara um vencedor quando não há diferença real. Você implementa a variante B pensando que ela aumenta a conversão em 3%, mas na realidade B é idêntica a A. O "aumento" foi ruído.
Com alfa = 0.05, você aceita uma chance de 5% disso por teste. Isso parece seguro. Não é seguro em escala.
Se você executar 20 testes independentes com alfa = 0.05, a probabilidade de *pelo menos um* falso positivo é:
P(pelo menos 1 falso positivo) = 1 - (1 - 0.05)^20 = 1 - 0.95^20 = 0.64
Isso é uma chance de 64%. Com 20 testes, você é praticamente garantido de ter pelo menos um vencedor falso. Se cada falso positivo implementar uma mudança que realmente prejudica a conversão, você acumula danos ao longo do tempo.
A solução mais simples: divida alfa pelo número de testes.
Executando 5 métricas em um único teste? Use alfa = 0.05 / 5 = 0.01 por métrica.
| Número de comparações | Alfa de Bonferroni | Valor-p necessário |
|---|---|---|
| 1 | 0.050 | < 0.050 |
| 3 | 0.017 | < 0.017 |
| 5 | 0.010 | < 0.010 |
| 10 | 0.005 | < 0.005 |
| 20 | 0.0025 | < 0.0025 |
Bonferroni é conservador — ele reduz o poder. Uma alternativa menos conservadora é Benjamini-Hochberg (controla a taxa de descobertas falsas em vez da taxa de erro familiar). Mas Bonferroni é simples e nunca está errado.
Pré-registro significa documentar antes do teste:
Por que isso funciona: elimina a racionalização pós-hoc. Sem pré-registro, as equipes inconscientemente testam 10 métricas, encontram um resultado significativo e o apresentam como "o" achado. O pré-registro força a honestidade.
Métricas de proteção são métricas secundárias que você monitora para capturar regressões, não para encontrar vitórias:
Defina os limiares das métricas de proteção antecipadamente: "Se a taxa de rejeição aumentar em >2 pp, não implemente, independentemente do resultado da métrica primária." Avalie as métricas de proteção no Calculadora de Teste A/B.
Antes do próximo teste, escreva sua métrica primária, nível alfa e tamanho da amostra. Então, calcule a duração necessária no Calculadora de Teste A/B e comprometa-se com ela.
Este artigo é revisado pela equipe editorial da Tools Hub para garantir precisão, utilidade prática e consistência com os fluxos atuais do produto.
Última revisão:
Guia prático sobre "Quando interromper um teste A/B com tráfego baixo": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Incompatibilidade de proporção de amostra: detecção e causas raízes": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Teste A/B Bayesiano vs Frequentista para Equipes de Produto": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Teste sequencial e a armadilha da espiada": etapas principais, erros comuns e implementação com Calculadora A/B.