Ürün Ekipleri için Bayesian ve Frequentist A/B Testi

İki Veri Setini Okuma Yöntemi

Bir A/B testi yaptınız. Kontrol: 1.000 kullanıcı, 50 dönüşüm (5.0%). Variant: 1.000 kullanıcı, 65 dönüşüm (6.5%). Variant B daha iyidir mi? Cevap, kullanılan çerçeveye bağlıdır.

Frekansçı Yaklaşım

Frekansçı test, "Gerçek bir fark yoksa, bu kadar extreme veri görme olasılığı ne olur?" sorusunu sorar.

Örnekteki iki-ölçekli z-testi:

Çıktı ikili: anlamlı veya anlamsız. P-değeri, B'nin A'dan daha iyi olma olasılığı değildir - B'nin A'ya eşit olduğu varsayımı altında bu kadar extreme veri görme olasılığıdır.

Bayesçi Yaklaşım

Bayesçi test, "Verilere göre, B'nin A'dan daha iyi olma olasılığı nedir?" sorusunu sorar.

Beta(1,1) önceli (bilinçsiz) kullandığında, posteriyer dağılımları:

Monte Carlo simülasyonu (veya kapalı-formül hesaplaması) verir: P(B > A) = 93.8%.

Çıktı sürekli: "Variant B'nin dönüşüm oranı daha yüksek olma olasılığı %93.8'dir." Ayrıca, "Beşerî yükseltme +1.4 pp, %90 güvenilir aralığı [-0.1 pp, +3.0 pp]" hesaplayabilirsiniz.

Hangi Yöntemi Kullanmak

Frekansçı daha iyidir:

Bayesçi daha iyidir:

Uygulamalı Sonuçlar

Aynı verilere göre:

Hiçbir cevap "hatalı" değildir - farklı sorulara cevaplar. A/B Test Hesaplayıcısı ile verilerinize hem frekansçı hem de Bayesçi perspektiften hesaplayabilirsiniz.

Sıklıkla Yanlış Anlaşılanlar

İlgili Kaynaklar

Son Adım

Kontrol ve varyant verilerinizi A/B Test Hesaplayıcısı içine girin ve frekansçı p-değerini Bayesçi iyilik olasılığı ile karşılaştırın.

Sonraki adim

Akisi A/B Test Calculator icinde calistirin ve trafik buyutmeden once baseline kaydedin.