Çerez tercihleri
Analitik için çerez kullanıyoruz. Gizlilik Politikası Zorunlu olmayan takibi kabul edebilir veya reddedebilirsiniz.
"Sıralı Test ve Gözetleme Tuzağı" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
Araca git
İstatistiksel anlamlılık (Z-testi) ve güven aralıkları.
Alpha = 0.05 (yüzde 5 yanlış pozitif oranı) olarak ayarladınız ve testi 4 hafta boyunca çalıştırmayı planladınız. Ancak her gün sonuçları kontrol ediyorsunuz. Rastgele dalgalanan verilerde 28 kontrol sonrasında, *en az bir* yanlış anlamlı sonucun olasılığı yüzde 5 değil, yaklaşık yüzde 25-30'a yükseliyor.
Sebep: her kontrol bir hipotez testidir. Gerçek bir etki yoksa bile, rastgele veriler bazen anlamlı görünür. Daha fazla kontrol = daha fazla yanlış alarm olasılığı. Resmi olarak, test istatistiği boş hipotez altında rastgele bir yürüyüş izler ve zamanla artan olasılıkla herhangi bir sabit sınırı geçer.
Ardışık test yöntemleri, birden fazla kontrolde genel yanlış pozitif oranını "alpha harcayarak" kontrol eder. Her kontrolde alpha = 0.05 kullanmak yerine, her ara analiz daha küçük bir eşik kullanır, böylece tüm kontrollerdeki toplam yüzde 0.05'te kalır.
İki klasik yaklaşım:
O'Brien-Fleming — çok erken konservatif, geç lenient. İlk kontrol p < 0.0001 gerektirebilir. Son kontrol yaklaşık olarak orijinal alpha'yı kullanır. Etki çok büyük olmadıkça tam testi çalıştırmak istediğinizde en iyisi.
| Kontrol | Harcanan Alpha (kümülatif) | Sınır p-değeri |
|---|---|---|
| 1 / 4 | 0.0001 | 0.0001 |
| 2 / 4 | 0.0054 | 0.0049 |
| 3 / 4 | 0.0221 | 0.0184 |
| 4 / 4 | 0.0500 | 0.0429 |
Pocock — alpha'yı eşit olarak harcar. Her kontrol yaklaşık olarak aynı eşik kullanır (~0.016 4 kontrol için). Daha kolay açıklanabilir ancak daha fazla toplam örneklem büyüklüğü gerektirir çünkü alpha'yı erken "kullanır".
Temel: %5 dönüşüm, MDE: 2 pp, alpha: 0.05, güç: %80.
A/B Test Calculator kullanarak gerekli örnekleminizi ve programınızı hesaplayın.
3-5 ara kontrol karar verin, O'Brien-Fleming sınırlarını seçin ve A/B Test Calculator kullanarak düzeltilmiş örneklem büyüklüğünüzü hesaplayın.
Bu içerik, doğruluk, pratik uygulanabilirlik ve güncel ürün akışlarıyla tutarlılık açısından Tools Hub editoryal ekibi tarafından gözden geçirilir.
Son gözden geçirme:
"Örnek Oranı Uyuşmazlığı: Tespit ve Kök Nedenler" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Düşük Trafikte A/B Testi Ne Zaman Durdurulmalı?" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Ürün Ekipleri için Bayesian ve Frequentist A/B Testi" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Çok Değişkenli ve A/B Testi: Bir Karar Çerçevesi" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.