A/B testi için örnek boyutu: doğru şekilde nasıl hesaplanır
Bir testi neden önceden durduramazsınız, başlatmadan önce gerekli kullanıcı sayısını nasıl hesaplayabilirsiniz ve test gücü nedir?
Örneklem büyüklüğü neden bu kadar önemli?
Çoğu A/B testi çok erken durdurulur - bu, CRO''daki ana hatalardan biridir. İlk "yeşil numarada" durdurulan bir test, vakaların %30-50''sinde yanlış sonuçlar verir.
Üç hesaplama parametresi
1. Temel Dönüşüm (CR) - kontrol grubunun mevcut dönüşümü
2. Minimum Etki (MDE) - önemli kabul edilen minimum iyileştirme
3. İstatistiksel güç - gerçek bir etkiyi tespit etme olasılığı (genellikle %80)
Evan Miller Formülü
''''
n = (Z_α/2 + Z_β)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²
Nerede:
Z_α/2 = 1,96 (%95 anlamlılık düzeyinde)
Z_β = 0,84 (%80 güçte)
p1 = temel dönüşüm
p2 = beklenen dönüşüm
''''
Pratik örnekler
| Temel CR | MDE | Grup başına örnekleme |
|---|---|---|
| --- | --- | --- |
| %2 | +%20 (%2,4''e kadar) | ~40.000 |
| %5 | +%10 (%5,5''e kadar) | ~28.000 |
| %10 | +%10 (%11''e kadar) | ~13.000 |
| %10 | +%20 (%12''ye kadar) | ~3 500 |
Sonuç: MDE ve baz CR ne kadar küçükse, gereken örnek de o kadar büyük olur.
İyi bir testin kuralları
- ✅ Örneklemeyi lansman sırasında değil, önce hesaplayın
- ✅ Testi erken bırakmayın
- ✅ Haftalık döngülerin tamamını test edin (7N gün)
- ❌ Lansmandan sonra MDE''yi değiştirmeyin (p-hacking)
Hesap makinemizi kullanarak Evan Miller''ın yöntemini kullanarak Testiniz için örnek boyutunu hesaplayın.