Preferências de cookies
Usamos cookies para análises. Política de Privacidade Você pode aceitar ou recusar rastreamento não essencial.
Guia prático sobre "Quando interromper um teste A/B com tráfego baixo": etapas principais, erros comuns e implementação com Calculadora A/B.
Vá para a ferramenta
Significância estatística (Z-test) e intervalos de confiança.
Você lança um teste A/B e verifica os resultados no dia 3. O valor p é 0,03 — significativo! Você interrompe o teste e implementa. Duas semanas depois, o aumento desaparece.
Isso acontece porque verificar um teste em andamento várias vezes inflaciona a taxa de falsos positivos. Com alpha = 0,05 e verificações diárias ao longo de 14 dias, a taxa real de falsos positivos sobe para 20-30%. A matemática: cada espiada é uma chance de atingir acidentalmente a significância em ruído aleatório.
Exemplo: conversão de linha de base 4%, MDE 1 pp (absoluto), alpha 0,05, poder 80%. Amostra necessária: ~3.800 por variante. Com 500 visitantes/dia, são 15 dias. Defina um lembrete no calendário para o dia 15. Não espie.
Sites de baixo tráfego (menos de 1.000 visitantes/dia) enfrentam um problema real: o teste para detectar um aumento de 1 pp pode precisar de 8 semanas. Opções:
1. Aumente seu limite de MDE. Aceite que você só pode detectar efeitos maiores. Um MDE de 3 pp em vez de 1 pp corta a amostra necessária de ~3.800 para ~430 por variante. A desvantagem: você pode perder pequenas vitórias.
2. Teste mudanças maiores. Em vez de testar a cor do botão, teste um layout de página totalmente diferente. Mudanças maiores produzem efeitos maiores, tornando-os detectáveis com menos tráfego.
3. Use testes sequenciais. Métodos como o design sequencial de grupo permitem que você espie em intervalos predefinidos sem inflacionar o alpha. Você paga um prêmio de tamanho de amostra de ~20-30%, mas pode parar mais cedo se o efeito for grande. Veja Testes Sequenciais e a Armadilha da Espiada.
4. Estenda a janela de teste. Se a empresa permitir, execute o teste por 6-8 semanas. Apenas certifique-se de contabilizar os ciclos de dia da semana/fim de semana, executando semanas completas.
Site: 300 visitantes/dia, 5% de conversão.
Conclusão: este site deve ter como alvo MDE de 2-3 pp e testar mudanças ousadas, não micro-otimizações.
Abra a Calculadora de Tamanho de Amostra, insira seu tráfego e taxa de linha de base e encontre o MDE que seu site pode detectar realisticamente em 2-4 semanas.
Execute o fluxo em A/B Test Calculator e salve o baseline antes de escalar.
Este artigo é revisado pela equipe editorial da Tools Hub para garantir precisão, utilidade prática e consistência com os fluxos atuais do produto.
Última revisão:
Guia prático sobre "Teste multivariado versus teste A/B: uma estrutura de decisão": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Como evitar falsos positivos em testes A/B": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Incompatibilidade de proporção de amostra: detecção e causas raízes": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Teste A/B Bayesiano vs Frequentista para Equipes de Produto": etapas principais, erros comuns e implementação com Calculadora A/B.