Preferências de cookies
Usamos cookies para análises. Política de Privacidade Você pode aceitar ou recusar rastreamento não essencial.
Guia prático sobre "Teste sequencial e a armadilha da espiada": etapas principais, erros comuns e implementação com Calculadora A/B.
Vá para a ferramenta
Significância estatística (Z-test) e intervalos de confiança.
Você define alpha = 0.05 (5% de taxa de falso positivo) e planeja executar um teste por 4 semanas. Mas você verifica os resultados todos os dias. Após 28 verificações em dados que flutuam aleatoriamente, a probabilidade de *pelo menos um* resultado falso significativo não é 5% — ela aumenta para aproximadamente 25-30%.
O motivo: cada verificação é um teste de hipótese. Mesmo que não haja efeito real, os dados aleatórios ocasionalmente parecem significativos. Mais verificações = mais chances de um falso alarme. Formalmente, a taxa de erro infla porque a estatística do teste segue uma caminhada aleatória sob a hipótese nula, e ela cruza qualquer limite fixo com probabilidade crescente ao longo do tempo.
Métodos de teste sequencial controlam a taxa de falso positivo geral em múltiplas verificações "gastando" alpha gradualmente. Em vez de usar alpha = 0.05 em cada verificação, cada análise interina usa um limite menor, de modo que o total em todas as verificações permaneça em 0.05.
Duas abordagens clássicas:
O'Brien-Fleming — muito conservador no início, liberal no final. A primeira verificação pode exigir p < 0.0001 para parar. A verificação final usa aproximadamente o alpha original. Melhor quando você deseja executar o teste completo a menos que o efeito seja enorme.
| Verificação | Alpha gasto (acumulado) | Valor-p de limite |
|---|---|---|
| 1 de 4 | 0.0001 | 0.0001 |
| 2 de 4 | 0.0054 | 0.0049 |
| 3 de 4 | 0.0221 | 0.0184 |
| 4 de 4 | 0.0500 | 0.0429 |
Pocock — gasta alpha uniformemente. Cada verificação usa aproximadamente o mesmo limite (~0.016 para 4 verificações). Mais fácil de explicar, mas requer um tamanho de amostra total maior porque você "usa" alpha cedo.
Baseline: 5% de conversão, MDE: 2 pp, alpha: 0.05, poder: 80%.
Calcule seu tamanho de amostra necessário e cronograma usando Calculadora de A/B Test.
Decida por 3-5 verificações interinas, escolha os limites de O'Brien-Fleming e calcule seu tamanho de amostra ajustado em Calculadora de A/B Test.
Este artigo é revisado pela equipe editorial da Tools Hub para garantir precisão, utilidade prática e consistência com os fluxos atuais do produto.
Última revisão:
Guia prático sobre "Incompatibilidade de proporção de amostra: detecção e causas raízes": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Quando interromper um teste A/B com tráfego baixo": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Teste A/B Bayesiano vs Frequentista para Equipes de Produto": etapas principais, erros comuns e implementação com Calculadora A/B.
Guia prático sobre "Teste multivariado versus teste A/B: uma estrutura de decisão": etapas principais, erros comuns e implementação com Calculadora A/B.