Preferenze cookie
Usiamo cookie per l'analisi. Informativa sulla privacy Puoi accettare o rifiutare il tracciamento non essenziale.
Guida pratica su "Come evitare i falsi positivi nei test A/B": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Vai allo strumento
Significatività statistica (Z-test) e intervalli di confidenza.
Un falso positivo (errore di tipo I, errore alfa) significa che il test dichiara un vincitore quando non esiste una vera differenza. Si spedisce la variante B pensando che aumenti la conversione del 3%, ma in realtà B è identica ad A. Il "sollevamento" era rumore.
Con alfa = 0,05, si accetta una probabilità del 5% di questo per test. Sembra sicuro. Non è sicuro su larga scala.
Se si eseguono 20 test indipendenti con alfa = 0,05, la probabilità di *almeno un* falso positivo è:
P(almeno 1 falso positivo) = 1 - (1 - 0,05)^20 = 1 - 0,95^20 = 0,64
Cioè una probabilità del 64%. Con 20 test, si è praticamente garantiti di avere almeno un falso vincitore. Se ogni falso positivo spedisce una modifica che in realtà danneggia la conversione, si accumula il danno nel tempo.
La soluzione più semplice: dividere alfa per il numero di test.
Si eseguono 5 metriche in un test? Utilizzare alfa = 0,05 / 5 = 0,01 per metrica.
| Numero di confronti | Alfa di Bonferroni | Valore p richiesto |
|---|---|---|
| 1 | 0,050 | < 0,050 |
| 3 | 0,017 | < 0,017 |
| 5 | 0,010 | < 0,010 |
| 10 | 0,005 | < 0,005 |
| 20 | 0,0025 | < 0,0025 |
Bonferroni è conservativo — riduce la potenza. Un'alternativa meno conservativa è Benjamini-Hochberg (controlla la frequenza di scoperta falsa invece della frequenza di errore familiare). Ma Bonferroni è semplice e mai sbagliato.
La pre-registrazione significa documentare prima del test:
Perché funziona: elimina la razionalizzazione post-hoc. Senza pre-registrazione, i team testano inconsciamente 10 metriche, trovano un risultato significativo e lo presentano come "il" risultato. La pre-registrazione forza l'onestà.
Le metriche di protezione sono metriche secondarie monitorate per catturare regressioni, non per trovare vincitori:
Impostare soglie di protezione in anticipo: "Se il tasso di rimbalzo aumenta di >2 pp, non spedire indipendentemente dal risultato della metrica primaria." Valutare le metriche di protezione in Calcolatore di test A/B.
Prima del prossimo test, scrivere la metrica primaria, il livello alfa e la dimensione del campione. Quindi calcolare la durata richiesta in Calcolatore di test A/B e impegnarsi a rispettarla.
Questo articolo viene revisionato dalla redazione di Tools Hub per garantire accuratezza, rilevanza pratica e coerenza con i flussi di prodotto attuali.
Ultima revisione:
Guida pratica su "Quando interrompere un test A/B in caso di traffico scarso": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Mancata corrispondenza del rapporto di campionamento: rilevamento e cause principali": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Test A/B bayesiani e frequentisti per i team di prodotto": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Test sequenziali e trappola del peeking": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.