Preferenze cookie
Usiamo cookie per l'analisi. Informativa sulla privacy Puoi accettare o rifiutare il tracciamento non essenziale.
Guida pratica su "Test A/B bayesiani e frequentisti per i team di prodotto": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Vai allo strumento
Significatività statistica (Z-test) e intervalli di confidenza.
Hai eseguito un test A/B. Controllo: 1.000 utenti, 50 conversioni (5.0%). Variante: 1.000 utenti, 65 conversioni (6.5%). La variante B è meglio? La risposta dipende dal framework utilizzato.
Il testing frequentista chiede: "Se non ci fosse una vera differenza, quanto spesso avremmo visto dati così estremi?"
Per l'esempio sopra, un test z a due proporzioni dà:
L'output è binario: significativo o non. Il p-value NON è la probabilità che B sia meglio — è la probabilità di vedere questi dati (o più estremi) assumendo B sia identico a A.
Il testing bayesiano chiede: "Data i dati, quale è la probabilità che B sia meglio di A?"
Utilizzando un prior Beta(1,1) (non informativo), le distribuzioni posteriori sono:
La simulazione di Monte Carlo (o calcolo a forma chiusa) dà: P(B > A) = 93,8%.
L'output è continuo: "C'è un 93,8% di probabilità che la variante B abbia un tasso di conversione più alto." Puoi anche calcolare: "Lift atteso è +1,4 pp, con intervallo credibile del 90% [-0,1 pp, +3,0 pp]."
Frequentista è meglio quando:
Bayesiano è meglio quando:
Con i dati sopra:
Nessuna risposta è "sbagliata" — rispondono a domande diverse. Utilizza Calcolatore di Test A/B per calcolare entrambe le prospettive sui tuoi dati.
Inserisci i tuoi dati di controllo e variante nel Calcolatore di Test A/B e confronta il p-value frequentista con la probabilità bayesiana di miglioramento.
| Frequentista | Bayesiano | |
|---|---|---|
| **p-value** | 0,073 | 0,938 |
| **Decisione** | Non distribuire | Distribuire con 93,8% di probabilità |
Questo articolo viene revisionato dalla redazione di Tools Hub per garantire accuratezza, rilevanza pratica e coerenza con i flussi di prodotto attuali.
Ultima revisione:
Guida pratica su "Mancata corrispondenza del rapporto di campionamento: rilevamento e cause principali": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Quando interrompere un test A/B in caso di traffico scarso": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Test sequenziali e trappola del peeking": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.
Guida pratica su "Test multivariato vs A/B: un quadro decisionale": passaggi chiave, errori comuni e implementazione con Calcolatore A/B.