Çerez tercihleri
Analitik için çerez kullanıyoruz. Gizlilik Politikası Zorunlu olmayan takibi kabul edebilir veya reddedebilirsiniz.
"Düşük Trafikte A/B Testi Ne Zaman Durdurulmalı?" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
Araca git
İstatistiksel anlamlılık (Z-testi) ve güven aralıkları.
Bir A/B testi başlatırsınız ve 3. günde sonuçları kontrol edersiniz. p-değeri 0,03 — anlamlı! Testi durdurur ve gönderirsiniz. İki hafta sonra, artış kaybolur.
Bunun nedeni, çalışan bir testi birden fazla kez kontrol etmenin yanlış pozitif oranını şişirmesidir. Alfa = 0,05 ve 14 gün boyunca günlük kontroller ile gerçek yanlış pozitif oranı %20-30'a yükselir. Matematik: her kontrol, rastgele gürültüde anlamlılığa ulaşma şansı sunar.
Örnek: temel dönüşüm oranı %4, MDE 1 pp (mutlak), alfa 0,05, güç %80. Gereken örnek: ~3,800 varyant başına. 500 ziyaretçi/gün ile bu, 15 gün sürer. 15. güne bir takvim hatırlatması ayarlayın. Peek etmeyin.
Düşük trafik siteleri (günlük 1.000 ziyaretçiden az) gerçek bir sorunla karşı karşıdır: %1 pp artış tespit etmek için 8 hafta gerekebilir. Seçenekler:
1. MDE eşik değerini artırın. Daha büyük efektleri tespit edebileceğinizden emin olun. 3 pp MDE yerine 1 pp, gereken örnek büyüklüğünü ~3,800'den ~430'a düşürür varyant başına. Ticaret: küçük kazançları kaçırabilirsiniz.
2. Daha büyük değişiklikleri test edin. Buton rengini test etmek yerine, tamamen farklı bir sayfa düzeni test edin. Daha büyük değişiklikler daha büyük efektler üretir, bu da daha az trafik ile tespit edilebilir.
3. Sıralı testleri kullanın. Grup sıralı tasarım gibi yöntemler, önceden tanımlanmış aralıklarla peek etmeyi sağlar, ancak alfa'yı şişirmez. %20-30'luk bir örnek büyüklüğü primi ödersiniz, ancak efekt büyükse erken durabilirsiniz. Sıralı Testler ve Peeking Tuzağı
4. Test penceresini uzatın. İşletme izin veriyorsa, testi 6-8 hafta boyunca çalıştırın. Sadece hafta içi/hafta sonu döngülerini tam haftalar çalıştırarak hesaba katmayı unutmayın.
Site: 300 ziyaretçi/gün, %5 dönüşüm.
Sonuç: bu site MDE 2-3 pp hedeflemeli ve mikro-optimizasyonlar yerine cesur değişiklikler test etmelidir.
Örnek Büyüklüğü Hesaplayıcı'nı açın, trafik ve temel oranınızı girin ve sitenizin 2-4 hafta içinde gerçekçi olarak tespit edebileceği MDE'yi bulun.
Akisi A/B Test Calculator icinde calistirin ve trafik buyutmeden once baseline kaydedin.
Bu içerik, doğruluk, pratik uygulanabilirlik ve güncel ürün akışlarıyla tutarlılık açısından Tools Hub editoryal ekibi tarafından gözden geçirilir.
Son gözden geçirme:
"Çok Değişkenli ve A/B Testi: Bir Karar Çerçevesi" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"A/B Testlerinde Yanlış Pozitiflerden Nasıl Kaçınılır?" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Örnek Oranı Uyuşmazlığı: Tespit ve Kök Nedenler" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.
"Ürün Ekipleri için Bayesian ve Frequentist A/B Testi" için pratik rehber: temel adımlar, yaygın hatalar ve A/B Hesaplayıcı ile uygulama.