Preferenze cookie
Usiamo cookie per l'analisi. Informativa sulla privacy Puoi accettare o rifiutare il tracciamento non essenziale.
Guida pratica su "Test sequenziali e trappola del peeking": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Vai allo strumento
Significatività statistica (Z-test) e intervalli di confidenza.
Imposti alpha = 0,05 (tasso di falsi positivi del 5%) e prevedi di eseguire un test per 4 settimane. Ma controlli i risultati ogni giorno. Dopo 28 controlli sui dati che fluttuano casualmente, la probabilità di *almeno un* risultato significativo falso non è del 5% — sale a circa il 25-30%.
Il motivo: ogni controllo è un test di ipotesi. Anche se non c'è un effetto reale, i dati casuali a volte sembrano significativi. Più controlli = più possibilità di un falso allarme. Formalmente, il tasso di errore aumenta perché la statistica del test segue una passeggiata casuale sotto l'ipotesi nulla e attraversa qualsiasi confine fisso con probabilità crescente nel tempo.
I metodi di test sequenziali controllano il tasso di falsi positivi complessivo su più controlli "spendendo" alpha gradualmente. Invece di usare alpha = 0,05 ad ogni controllo, ogni analisi intermedia utilizza una soglia più bassa, quindi il totale su tutti i controlli rimane a 0,05.
Due approcci classici:
O'Brien-Fleming — molto conservativo all'inizio, tollerante alla fine. Il primo controllo potrebbe richiedere p < 0,0001 per fermarsi. Il controllo finale utilizza circa l'alpha originale. Migliore quando si vuole eseguire il test completo a meno che l'effetto non sia enorme.
| Controllo | Alpha speso (cumulativo) | Valore p limite |
|---|---|---|
| 1 di 4 | 0,0001 | 0,0001 |
| 2 di 4 | 0,0054 | 0,0049 |
| 3 di 4 | 0,0221 | 0,0184 |
| 4 di 4 | 0,0500 | 0,0429 |
Pocock — spende alpha in modo uniforme. Ogni controllo utilizza circa la stessa soglia (~0,016 per 4 controlli). Più facile da spiegare ma richiede una dimensione del campione più grande perché si "utilizza" alpha all'inizio.
Baseline: 5% di conversione, MDE: 2 pp, alpha: 0,05, potenza: 80%.
Calcolare il campione richiesto e il calendario utilizzando Calcolatore A/B Test.
Decidere su 3-5 controlli intermedi, scegliere i limiti di O'Brien-Fleming e calcolare la dimensione del campione regolata in Calcolatore A/B Test.
Questo articolo viene revisionato dalla redazione di Tools Hub per garantire accuratezza, rilevanza pratica e coerenza con i flussi di prodotto attuali.
Ultima revisione:
Guida pratica su "Mancata corrispondenza del rapporto di campionamento: rilevamento e cause principali": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Quando interrompere un test A/B in caso di traffico scarso": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Test A/B bayesiani e frequentisti per i team di prodotto": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Test multivariato vs A/B: un quadro decisionale": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.