Bir mağaza değişikliği için hipotez, ana ölçüt, izlenecek yan etkiler ve değerlendirme planı yazabileceksiniz.
- Önceki hafta ile bu haftayı karşılaştırmak kendiliğinden A/B testi olmaz.
- Küçük örneklemde belirsizlik yüksektir; sonuçsuzluk da geçerli bir sonuçtur.
- Amaç olumlu sayı bulmak değil, güvenilir karar verebilmektir.
Deneyiniz bir cümlelik soruya cevap versin
Küçük bir mağazada A/B testi planlamak, iki güzel tasarım seçmekten önce hangi kararı vermek istediğinizi açıklamayı gerektirir. “Sayfa daha iyi olsun” ölçülebilir bir soru değildir. “Boyut fotoğrafını görünür hale getirmek, müşterinin ölçü bilgisini bulmasını kolaylaştırıyor mu?” daha somut bir başlangıçtır.
Kararın türü yöntemi belirler. Bir bilginin anlaşılıp anlaşılmadığını öğrenmek için birkaç kişiye görev verip gözlemlemek yararlı olabilir. Satın alma oranındaki küçük bir farkı güvenilir biçimde tahmin etmek ise daha fazla trafik ve uygun deney tasarımı gerektirebilir. Her soruyu sipariş sayısına bağlamak hem yavaş hem yanıltıcı olabilir.
Microsoft Research: sonuçları izlemek de yöntem ister
Microsoft Research’ün deney aşaması yazısı, önceden belirlenen süreyi, erken sonuçlara bakarak karar verme riskini, veri kontrollerini ve olumsuz etkileri izlemeyi ele alıyor. Büyük platformların deney yöntemi, küçük mağazanın aynı istatistiksel güce sahip olduğu anlamına gelmez. [1]
Buradaki aktarımımız yöntem disiplinidir: soruyu önce yazın, ölçütü sonradan kazanan sayıya göre değiştirmeyin, verinin doğru üretildiğini kontrol edin ve belirsizliği saklamayın. Bu rehber örneklem hesabı yapan bir araç değildir. Testin beklenen etki ve trafiğe göre planlanması ayrıca değerlendirilmelidir.
Üç yöntemi birbirinden ayırın
Kullanıcı gözleminde kişiye bir görev verirsiniz: “Bu ürünün çantanıza sığıp sığmayacağını bulun.” Nerede zorlandığını izlersiniz. Bu yöntem bilgi eksiğini keşfedebilir, fakat beş kişinin tepkisinden mağazanın dönüşüm artışını hesaplayamazsınız. Öncesi-sonrası gözlemde zaman içindeki farkı incelersiniz; aynı sırada başka şeyler de değişmiş olabilir.
Kontrollü A/B testinde uygun birimlerin rastgele ve tutarlı biçimde farklı sürümlere atanması gerekir. Aynı kişi tekrar geldiğinde farklı sürümler görüyorsa yorum zorlaşabilir. Pazartesi A, salı B göstermek gün etkilerini karıştırır. Sadece iki sürümün bulunması bir çalışmayı güvenilir deney yapmaz.
Deney kartı: beş alanı önceden doldurun
Bir: gözlenen sorun. İki: önerilen değişiklik. Üç: neden işe yarayacağını düşündüğünüz mekanizma. Dört: ana ölçüt. Beş: izlenecek olumsuz etkiler. Örneğin ölçü fotoğrafı çalışmasında sorun ölçü bilgisinin bulunamaması, değişiklik görünür bir ölçek fotoğrafı, mekanizma belirsizliğin azalması olabilir.
Ana ölçüt seçtiğiniz yönteme uysun. Kullanıcı görevinde ölçüyü doğru bulma ve yaşanan karışıklık izlenebilir. Kontrollü satış deneyinde tanımı net bir dönüşüm ölçütü seçilebilir. Sayfa hızı, hatalı sipariş, iade veya destek yükü gibi yan etkileri de düşünün. Sadece olumlu yönde hareket etmesini istediğiniz sayıya bakmayın.
Başlamadan önce ölçümü kontrol edin
Bir deneme siparişi veya uygun test akışıyla olayların doğru kaydedildiğini doğrulayın. Aynı olayın iki kez sayılması, başarısız ödemenin tamamlandı görünmesi veya bazı ziyaretlerin hiç kaydedilmemesi sonucu bozabilir. Sürümler arasında farklı çalışan ölçüm, tasarım farkıymış gibi görünebilir.
Gruplara atama ve verilerin alınması sorunluysa sonuç yorumlamaya ara verin. “B sürümünde daha çok sipariş var” cümlesi, o sürümü kaç uygun kişinin gördüğünü bilmeden eksiktir. Teknik doğrulama müşteri verilerini gereksiz yere kopyalamayı gerektirmez; ilgili olay ve sayaçların doğru tanımlanmasıyla başlar.
İlk olumlu günde testi bitirmeyin
Başlangıçta değerlendirme zamanı ve yöntemi belirleyin. Her gün sonucu kontrol edip yalnız olumlu göründüğü anda durmak güvenilirliği zedeler. Çok az siparişte bir veya iki ek satış oranı sert biçimde değiştirebilir. Bir sürümün yüzde olarak önde görünmesi, farkın kalıcı veya değişiklikten kaynaklandığı anlamına gelmez.
Bu, kullanıcıya zarar veren bir sorunu görmezden gelmek demek değildir. Hatalı ödeme, yanlış fiyat veya ciddi kullanılabilirlik sorunu varsa müdahale edin ve deneyi neden durdurduğunuzu kaydedin. Güvenlik ve hata takibi ile “kazananı erken ilan etmek” ayrı kararlardır. Belirsiz kalan sonucu belirsiz olarak raporlamak yöntem başarısızlığı değildir.
Trafik azsa daha yakın bir sorunu çözün
Küçük mağazada satış farkını görmek için çok uzun süre gerekebilir. Bu durumda “Ürün ölçüsü bulunabiliyor mu?”, “Pakette neler olduğu doğru anlaşılıyor mu?” gibi yakın sorulara dönün. Kısa görevlerle yanlış anlaşılmaları tespit edip belirgin hataları düzeltin. Bu çalışmaların satış etkisini ayrıca kanıtlanmış gibi sunmayın.
Bir öğrenme defteri tutun: soru, yöntem, gözlem, sınır ve karar. “Üç kişi paket içeriğini yanlış anladı; kapakta adet bilgisini netleştirdik; satış etkisini henüz bilmiyoruz” iyi bir kayıttır. Hem yapılan iyileştirmeyi hem bilinmeyeni açıkça gösterir. Birkaç çalışmanın zaman içindeki birikimi, rastgele tasarım değişikliklerinden daha yararlı bir karar geçmişi oluşturabilir.
Sonuç raporunuz iki ihtimale de hazır olsun
Deney başlamadan hangi bulgunun fikrinizi destekleyeceğini ve hangi bulgunun yeniden düşünmenizi gerektireceğini yazın. Sonunda yalnız kazanan ekran görüntüsünü saklamayın. Süre, uygun gözlem adedi, ölçüt tanımları, teknik sorunlar ve aynı dönemdeki değişiklikler de kayıtta bulunsun.
Son cümleniz eyleme bağlansın: uyguluyoruz, düzeltip tekrar deniyoruz veya yeterli bilgi yok. “Yeterli bilgi yok” kararı da değerlidir; güçlü olmayan bir sonucu bütün mağazaya yaymanızı engeller. İyi bir deney kültürü sürekli kazanan bulmakla değil, kararın hangi kanıta dayandığını açıkça söylemekle oluşur.
Şimdi mağazanızda deneyin.
Bir ürün veya konuşma seçin. Aşağıdaki adımları uyguladıkça işaretleyin.
İşaretleriniz ve okuma durumunuz bu tarayıcıda saklanır.Dayandığımız araştırmalar
Bu rehber, aşağıdaki uluslararası yayınlardan hareketle InstaSat Akademi için özgün olarak hazırlanmıştır. Mağaza örnekleri ve uygulama önerileri bize aittir; araştırmalar her işletme için aynı satış sonucunu garanti etmez.
- Microsoft Research — Patterns of Trustworthy Experimentation: During-Experiment Stage ↗25 Ocak 2021 tarihli açık yöntem yazısı. Önceden belirlenen süre, erken sonuç yorumlama, veri kontrolleri ve olumsuz etkileri izleme üzerinde duruluyor.
