Preferenze cookie
Usiamo cookie per l'analisi. Informativa sulla privacy Puoi accettare o rifiutare il tracciamento non essenziale.
Guida pratica su "Quando interrompere un test A/B in caso di traffico scarso": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Vai allo strumento
Significatività statistica (Z-test) e intervalli di confidenza.
Avvii un test A/B e controlli i risultati il giorno 3. Il p-value è 0.03 — significativo! Interrompi il test e rilasci. Due settimane dopo, il lift scompare.
Questo accade perché controllare un test in esecuzione più volte gonfia il tasso di falsi positivi. Con alpha = 0.05 e controlli giornalieri per 14 giorni, il tasso di falsi positivi effettivo sale al 20-30%. La matematica: ogni sbirciatina è una possibilità di raggiungere accidentalmente la significatività sul rumore casuale.
Esempio: conversione di base 4%, MDE 1 pp (assoluto), alpha 0.05, potenza 80%. Campione richiesto: ~3.800 per variante. A 500 visitatori/giorno, sono 15 giorni. Imposta un promemoria del calendario per il giorno 15. Non sbirciare.
I siti a basso traffico (sotto i 1.000 visitatori/giorno) affrontano un problema reale: il test per rilevare un lift di 1 pp potrebbe richiedere 8 settimane. Opzioni:
1. Aumenta la tua soglia MDE. Accetta di poter rilevare solo effetti più grandi. Un MDE di 3 pp invece di 1 pp riduce il campione richiesto da ~3.800 a ~430 per variante. Il compromesso: potresti perdere piccole vittorie.
2. Testa cambiamenti più grandi. Invece di testare il colore del pulsante, testa un layout di pagina completamente diverso. Cambiamenti più grandi producono effetti più grandi, rendendoli rilevabili con meno traffico.
3. Usa il testing sequenziale. Metodi come il group sequential design ti consentono di sbirciare a intervalli predefiniti senza gonfiare alpha. Paghi un premio di dimensione del campione di ~20-30%, ma puoi interrompere in anticipo se l'effetto è grande. Vedi Testing sequenziale e la trappola della sbirciatina.
4. Estendi la finestra di test. Se l'azienda lo consente, esegui il test per 6-8 settimane. Assicurati solo di tenere conto dei cicli feriali/fine settimana eseguendo settimane complete.
Sito: 300 visitatori/giorno, conversione del 5%.
Conclusione: questo sito dovrebbe puntare a un MDE di 2-3 pp e testare cambiamenti audaci, non micro-ottimizzazioni.
Apri il Calcolatore della dimensione del campione, inserisci il tuo traffico e il tasso di base e trova l'MDE che il tuo sito può realisticamente rilevare in 2-4 settimane.
Esegui il flusso in A/B Test Calculator e salva la baseline prima di scalare.
Questo articolo viene revisionato dalla redazione di Tools Hub per garantire accuratezza, rilevanza pratica e coerenza con i flussi di prodotto attuali.
Ultima revisione:
Guida pratica su "Test multivariato vs A/B: un quadro decisionale": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Come evitare i falsi positivi nei test A/B": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Mancata corrispondenza del rapporto di campionamento: rilevamento e cause principali": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Test A/B bayesiani e frequentisti per i team di prodotto": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.