Ciro değil, katkı marjı kıyaslanır
İlk hata, öncesi ve sonrasında ciroya bakmaktır. Ciro reklamla ve indirimle satın alınabilir; danışmanın önerisiyle reklam bütçesi iki katına çıktıysa ciro artışı danışmanın değil bütçenin eseridir. Kıyaslanacak büyüklük katkı marjıdır: ciro eksi ürün maliyeti, platform kesintileri, kargo ve reklam.
İkinci hata, toplam rakama bakmaktır. Danışman on ürüne dokunduysa ölçüm o on üründe yapılır; dokunulmayan ürünler kontrol grubudur. Toplamın içinde yeni ürün lansmanı ya da bir ürünün tükenmesi ölçümü boğar.
Üçüncü hata, ölçümü danışmanlığın bitiş gününden başlatmaktır. Öncesi dönemi, danışmanın ilk önerisinin uygulandığı günden geriye doğru sayın; sonrası dönemi ise son önerinin uygulandığı günden ileriye. Aradaki uygulama dönemi geçiş sayılır ve kıyasa dahil edilmez.
Mevsim ve kampanyadan arındırma
Pazaryerinde hiçbir dönem bir öncekine benzemez. Arındırma için üç referans kullanılır ve mümkünse üçü birden:
- Geçen yılın aynı dönemi. Mevsimi ve takvim kampanyalarını büyük ölçüde temizler; mağaza geçen yıl varsa en güçlü referanstır.
- Dokunulmayan ürün grubu. Aynı dönemde aynı mağazada danışmanın önerisi uygulanmayan ürünler. Onlar da yüzde 30 arttıysa, dönüşüm değil dönem çalışmıştır.
- Kategori genel eğilimi. Panelin sunduğu kategori ya da pazar verileri; kaba ama yönü doğrular.
Üç referans da aynı yönü gösteriyorsa, artışın referansı aşan kısmı danışmanlığa atfedilebilir. Yalnız biri kullanıldığında sonuç tartışmaya açıktır.
Atfetme sorunu: kim ne yaptı
Danışman öneriyi yazdı, ekip uyguladı, platform o ay algoritmayı değiştirdi. Sonucu kime yazacağız? Kesin cevap yoktur; makul yaklaşım, danışmanın önerisi olmadan uygulamanın yapılıp yapılmayacağını sormaktır. Öneri olmadan ekip beden tablosunu yenilemeyecekse, beden kaynaklı iade düşüşü danışmanındır. Ekip zaten yapacak idiyse, danışmanın katkısı yalnız hızlandırmadır ve hızlandırmanın değeri kazanılan haftalarla ölçülür.
Bu sorgu her düzeltme için ayrı ayrı yapılır ve sonuç üç kovaya ayrılır: danışman olmadan olmazdı, danışman olmadan geç olurdu, danışmanla ilgisi yok.
Kovalara dağıtma işini danışmanla birlikte değil, önce kendi başınıza yapın; sonra danışmanın listesiyle karşılaştırın. İki liste büyük ölçüde örtüşüyorsa atfetme güvenilirdir. Danışman her düzeltmeyi ilk kovaya, siz üçüncüye koyuyorsanız ölçüm değil pazarlık yapılıyordur ve ortak bir referansa dönmek gerekir.
ROI formülü
Arındırılmış katkı marjı artışı bulunduktan sonra hesap tek satırdır:
ROI = (arındırılmış katkı marjı artışı − danışmanlık ücreti − uygulama maliyeti) ÷ danışmanlık ücreti örnek: dokunulan 10 üründe katkı marjı artışı (90 gün): 84.000 kontrol grubunun aynı dönem artış oranıyla düzeltilmiş kısım: 21.000 arındırılmış artış: 63.000 danışmanlık ücreti: 30.000 uygulama maliyeti (görsel, ekip saati): 9.000 ROI = (63.000 − 30.000 − 9.000) ÷ 30.000 = 0,8 → her 1 birime 0,8 net geri dönüş
Uygulama maliyetini çıkarmayı unutan hesap ROI'yi şişirir. Danışmanın önerdiği düzeltme ekibin iki haftasını yediyse o iki hafta maliyettir.
Ne zaman ölçmeli
Doksan gün, çoğu düzeltme için ilk okunabilir pencere; puan ve iade gibi gecikmeli metrikler için altı ay daha sağlıklıdır. Erken ölçüm iki yönde yanıltır: uygulama henüz tamamlanmamışken "işe yaramadı" ya da kampanya haftasında "muhteşem oldu".
| Düzeltme türü | İlk okunabilir pencere | Karar için |
|---|---|---|
| Reklam bütçesi yeniden dağılımı | 30 gün | 60 gün |
| Fiyat ve marj düzenlemesi | 45 gün | 90 gün |
| Beden tablosu, içerik yenileme | 60 gün | 120 gün |
| Kargo ve paketleme standardı | 60 gün | 180 gün |
Sözleşmenin ölçüm tarihi bu tabloya göre belirlenmeli; danışmanın ücretini ölçümden önce tamamen ödemek, ölçümü anlamsızlaştırmaz ama ikinci sözleşme pazarlığındaki elinizi zayıflatır.