Çerez tercihleri
Analitik için çerez kullanıyoruz. Gizlilik Politikası Zorunlu olmayan takibi kabul edebilir veya reddedebilirsiniz.
"A/B Testlerinde Yanlış Pozitiflerden Nasıl Kaçınılır?" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
Araca git
İstatistiksel anlamlılık (Z-testi) ve güven aralıkları.
Yanlış pozitif (Tip I hatası, alfa hatası), testinizin gerçek bir fark olmadığında kazananı ilan etmesini ifade eder. Değişikliğin dönüşümü %3 artırdığını düşünerek varyant B'yi kullanıyorsunuz, ancak gerçekte B, A ile aynıdır. "Artış" gürültüydü.
Alfa = 0,05'te, test başına bunun gibi bir hata olasılığını %5 olarak kabul edersiniz. Güvenli görünüyor. Ölçekte güvenli değildir.
20 bağımsız testi alfa = 0,05 ile çalıştırırsanız, *en az bir* yanlış pozitif olasılığı şöyledir:
P(en az 1 yanlış pozitif) = 1 - (1 - 0,05)^20 = 1 - 0,95^20 = 0,64
Bu, %64'lük bir olasılık. 20 testle, en az bir yanlış kazananın garantili olduğunu söyleyebilirsiniz. Her yanlış pozitif, dönüşümü gerçekten bozan bir değişikliği kullanırsa, zamanla hasar birikir.
En basit çözüm: alfa değerini test sayısına bölmektir.
Tek bir testte 5 metrik çalıştırıyorsunuz? Alfa = 0,05 / 5 = 0,01 her metrik için kullanın.
| Karşılaştırma Sayısı | Bonferroni Alfa | Gereken p-değeri |
|---|---|---|
| 1 | 0,050 | < 0,050 |
| 3 | 0,017 | < 0,017 |
| 5 | 0,010 | < 0,010 |
| 10 | 0,005 | < 0,005 |
| 20 | 0,0025 | < 0,0025 |
Bonferroni konservatif - gücü azaltır. Daha az konservatif bir alternatif Benjamini-Hochberg'dir (aile-bazlı hata oranından ziyade yanlış keşif oranını kontrol eder). Ancak Bonferroni basit ve asla yanlış değildir.
Ön-kaydı, testten önce belgelemeyi ifade eder:
Bu neden işe yarar: post-hoc rasyonalizasyonu ortadan kaldırır. Ön-kayıt olmadan, ekipler bilinçaltında 10 metrik test eder, önemli bir sonuç bulur ve bunu "bulgu" olarak sunar. Ön-kayıt dürüstlüğü zorlar.
Güvenlik metrikleri, kazanımları bulmak için değil, gerilemeleri yakalamak için izlediğiniz ikincil metriklerdir:
Güvenlik eşiklerini önceden belirleyin: "Eğer bounce oranı > 2 pp artarsa, birincil metrik sonucuna bakılmaksızın kullanmayın." Güvenlik raylarını A/B Test Calculator ile değerlendirin.
Bir sonraki testten önce, birincil metriğinizi, alfa seviyenizi ve örnek boyutunuzu yazın. Ardından A/B Test Calculator ile gerekli süreyi hesaplayın ve buna bağlı kalın.
Bu içerik, doğruluk, pratik uygulanabilirlik ve güncel ürün akışlarıyla tutarlılık açısından Tools Hub editoryal ekibi tarafından gözden geçirilir.
Son gözden geçirme:
"Düşük Trafikte A/B Testi Ne Zaman Durdurulmalı?" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Örnek Oranı Uyuşmazlığı: Tespit ve Kök Nedenler" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Ürün Ekipleri için Bayesian ve Frequentist A/B Testi" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Sıralı Test ve Gözetleme Tuzağı" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.