Neden 14 gün ve neden tek değişken
Sıralama etkileri gecikmelidir. Değişiklik ilk gün dönüşümü etkiler, gösterim etkisi üçüncü-beşinci günde başlar, dengelenme ikinci haftada görülür. Yedi günlük deney yalnız ilk yarıyı görür; yirmi bir gün ise kampanya ve sezon etkilerine daha çok açılır. On dört gün ikisinin arasında pratik dengedir.
Tek değişken kuralı pazarlık kabul etmez. Fiyat ve görseli birlikte değiştirip satış artarsa, bir sonraki üründe hangisini tekrarlayacaksınız? İkisini de tekrarlarsanız fiyatı belki boşuna düşürmüş olursunuz. Deneyin amacı sonuç almak değil, tekrarlanabilir bir sebep bulmaktır.
Kontrol ürünü seçimi
Kontrol ürünü, deney süresince hiçbir şeye dokunmadığınız ve deney ürünüyle aynı dış etkenlere maruz kalan üründür. Kategori kampanyası biterse ikisi de düşer; rakip girerse ikisi de etkilenir. Deney ürününün hareketinden kontrol ürününün hareketini çıkardığınızda kalan şey, değişikliğin net etkisidir.
| Kontrol ürünü ölçütü | Neden |
|---|---|
| Aynı alt kategori | Aynı arama trafiğinden beslenmeli |
| Benzer fiyat bandı | Aynı alıcı kitlesine hitap etmeli |
| Benzer günlük gösterim (±%50) | Çok küçük ürün gürültü üretir |
| Deney süresince stok güvenli | Tükenme kontrolü bozar |
| Son 30 günde değişiklik yapılmamış | Kendi gecikmeli etkisini taşımamalı |
Uygun kontrol ürünü yoksa deney yine yapılabilir ama sonucu daha temkinli okumak gerekir; o durumda kategori genelindeki gösterim eğilimini kaba kontrol olarak kullanın. Mağazanızda benzer iki ürün varsa deneyi ters yönde de tekrarlayın: ilk turda deney olan ürün ikinci turda kontrol olur. İki turda aynı yönde sonuç, tek turun verebileceği her güvenden büyüktür.
Kayıt tablosu
Deney başlamadan yedi gün önce kayda başlayın; taban çizgisi olmadan değişim ölçülemez. Her gün aynı saatte, her iki ürün için şu alanlar:
gün | ürün | gösterim | tıklama | sipariş | fiyat | stok | not türetilen: tıklanma oranı = tıklama ÷ gösterim dönüşüm oranı = sipariş ÷ tıklama göreli gösterim = deney ürünü gösterim ÷ kontrol ürünü gösterim
Son satır deneyin kalbidir. Göreli gösterim, dış etkenleri büyük ölçüde nötrler: kategori trafiği yüzde yirmi artarsa iki ürün de artar, oran sabit kalır. Değişiklik işe yaradıysa oran taban çizgisinin üstüne çıkar.
Karar eşiği
Deney bitince iki dönem karşılaştırılır: taban 7 gün ile deney son 7 günü (8-14. günler). İlk yedi gün geçiş dönemidir, karara katılmaz.
- Göreli gösterim taban ortalamasına göre %15'ten fazla arttıysa ve dönüşüm düşmediyse: değişiklik çalıştı, diğer ürünlere yay.
- Göreli gösterim %15'ten fazla düştüyse: değişikliği geri al, nedenini not et.
- Arada kaldıysa: sonuç belirsiz; ya deneyi tekrarlayın ya da etki küçük diye kabul edip geçin.
Yüzde on beş eşiği kesin bir bilim değil, günlük gürültüyü aşmak için pratik bir taban. Gösterimi çok düşük ürünlerde gürültü büyür ve eşik yükseltilmelidir; günde beş yüz gösterim altındaki ürünler deney için uygun değildir.
Sık yapılan beş hata
- Deney sırasında reklam açmak. Reklam gösterimi organik gösterimi maskeler; panelde ayrım varsa yalnız organiği kaydedin, yoksa reklamı deney boyunca sabit tutun.
- Kampanya haftasına denk getirmek. Kampanya hem gösterimi hem dönüşümü ürünlere farklı oranda dağıtır; kontrol bozulur.
- Sonucu üçüncü günde okumak. Erken düşüş çoğu değişiklikte görülür; on dördüncü güne kadar karar yok.
- Değişikliği yarıda geri almak. Yarım deney sıfır bilgidir ve ürünü iki kez yeniden değerlendirmeye sokar.
- Tek deneyden genel kural çıkarmak. Bir üründe çalışan, iki üründe daha doğrulanmadan mağaza kuralı olmaz.
Bu protokolü üç ayda bir kez bile düzenli uygulayan satıcı, bir yıl sonra elinde kendi kategorisine özgü, ölçülmüş bir sıralama davranış haritası bulur. Forumlardaki hiçbir iddia bu haritanın yerini tutmaz.