A/B Test vs Kişiselleştirme: Kazanan Varyant Neden Hâlâ Bir Uzlaşma

Yirmi yıl boyunca A/B testi web sitesi optimizasyonunun güvenilirlik standardıydı. Bir hero'nun, bir başlığın veya bir düğmenin iki varyantı bölünmüş trafik üzerinde birbirine karşı yürütülür, istatistiksel güvenle kazanan ilan edilir ve kaybeden varyant emekli olur. Kazanan varyant yeni baseline olur ve bir sonraki test döngüsü başlar. Disiplin gerçek, güven aralıkları gerçek ve uygulama sayısız sitede ölçülebilir kaldırma üretti.

Uygulamanın gizlediği sorun, kazanan varyantın hâlâ bir uzlaşma olmasıdır. Test trafiğindeki segment karışımında ortalamada en iyi performans gösteren varyanttır. Ama o karışım içindeki segmentler farklı yanıt verdi — bazı segmentler kaybeden varyantı tercih ederdi ve kazanan varyant, daha iyi performans gösterdiği segmentler karşılığında o dönüşümleri kaybetti. Toplam kazanan, farklı şeyler isteyen segmentler arasında belirli bir uzlaşmadır.

Kural-bazlı kişiselleştirme, toplam kazanan yerine segment başına optimumu sunarak uzlaşmayı sona erdirir. Bu yazı A/B testinin gerçekten neyi optimize ettiğini, segment-optimizasyonu boşluğunun nerede oturduğunu, kişiselleştirmenin ne zaman kazandığını ve A/B'nin ne zaman hâlâ kazandığını ve çoğu kurumsalın indiği hibrit örüntünün pratikte neye benzediğini anlatır.

A/B testi aslında neyi optimize ediyor

A/B testinin matematiği açık — test, bir varyant diğerini yeterli istatistiksel güvenle geçtiğinde, her varyanta rastgele atanan trafiğin toplam dönüşüm oranında bir kazanan ilan eder. İlan dürüst ve titiz, ama optimize edilen metrik herhangi bir belirli segment için optimum değil, karışımdaki ortalamadır.

Sonuç, kazanan varyant segment tarafından ayrıştırıldığında ortaya çıkar. Kazanan varyantın kaybeden varyantı genel olarak yenerken bir alt segment kümesinde kaybeden varyanta yenildiğini bulmak yaygındır. Toplam sonuç kazanan varyantın iyi performans gösterdiği segmentler tarafından yönlendirildi; kaybeden segmentler toplam matematik tarafından sessizce geçersiz kılındı.

Belirli örneği açıklamaya değer. 'Bugün %20 tasarruf edin' ve 'İlk siparişinizde ücretsiz kargo' arasındaki bir hero testi, 'Bugün %20 tasarruf edin'i %8 dönüşüm kaldırmasıyla kazanan ilan eder. Segmente edilmiş analiz, ilk kez ziyaretçilerin indirim %15 tercih ettiğini, ancak dönen alışverişçilerin ücretsiz kargo %12 tercih ettiğini ortaya çıkarır. Toplam kazanan ilk kez ziyaretçi kaldırmasını yakalar; dönen alışverişçi kaybı, testte ilk kez ziyaretçiler dönen alışverişçilerden fazla olduğu için kazananın lehine emilir.

Dönen alışverişçilerde kaybedilen %12 bir yuvarlama hatası değil. Toplam kazananın sunamayacağı belirli bir segment-başına optimumdur. A/B dünyasında o kaldırma geri kazanılamaz — kaybeden varyant emekli oldu ve dönen alışverişçiler şimdi tercih ettikleri kazanan varyantı daha az görüyor.

Segment optimizasyon boşluğu

Toplam kazanan ile segment başına optimum arasındaki boşluk her zaman büyük değil, ama neredeyse her zaman sıfırdan farklı. Önemli izleyici çeşitliliği olan kurumsal programlarda boşluk genellikle kalan en büyük dönüşüm fırsatıdır — ekibin hâlâ avladığı herhangi bir bireysel A/B kaldırmasından daha büyük.

İzleyici bimodal veya trimodal olduğunda boşluk genişler. Hem ilk kez alıcılara hem de dönen müşterilere hizmet eden bir site ya da hem tüketici hem de küçük işletme izleyicilerine hizmet eden bir site ya da hem birincil pazar hem de uluslararası ziyaretçilere hizmet eden bir site, homojen bir izleyiciye hizmet eden bir siteden daha büyük segment başına optimuma sahip olacaktır. Her ek izleyici çeşitliliği ekseni, toplam kazanan ile segment-hizmetli optimum arasında daha büyük bir boşluktur.

A/B testi döngüsü, kaç tur çalıştırırsa çalıştırsın bu boşluğu kendi başına kapatamaz. Her tur başka bir toplam kazanan üretir ve her toplam kazanan başka bir uzlaşmadır. Segment-özgü optimumu yakalamanın tek yolu farklı segmentlere farklı içerik sunmaktır ki kural-bazlı kişiselleştirme yaptığı da budur.

Kişiselleştirme ne zaman kazanır, A/B ne zaman hâlâ kazanır

İki disiplin aynı problem için rekabet eden metodolojiler değil. Farklı değişkenleri optimize ederler. A/B testi belirli bir segmente giden varyantı optimize eder; kural-bazlı kişiselleştirme her segmentin hangi varyantı gördüğüne karar verir. Birlikte kullanıldığında birleşirler — A/B testi terk-edilmiş-sepet segmenti için en iyi hero'yu bulur, kişiselleştirme terk-edilmiş-sepet segmentinin sadece o hero'yu gördüğünden emin olur.

A/B testi hâlâ evrensel değişiklikler için doğru araçtır — site geneli navigasyon yeniden tasarımı, ödeme akışı elden geçirmesi, renk şeması değişikliği veya kazanan varyantın gerçekten herkese uygulanması gereken herhangi bir test. İyi tasarlanmış bir A/B testinin evrensel bir değişiklikte ürettiği kaldırma gerçektir ve kişiselleştirme onun yerini almaz.

Kişiselleştirme, farklı segmentlerin gösterilebilir şekilde farklı şeyler istediği zaman doğru araçtır. Sepet terk-edenler ilk kez ziyaretçilerden farklı bir hero ister. Ücretli-reklam tıklayıcılar organik arayıcılardan farklı bir hero ister. Bölgesel ziyaretçiler birincil-pazar ziyaretçilerinden farklı fiyat çıpaları ister. Her segmentin segment başına optimumu vardır ve toplam A/B kazananı kişiselleştirme kural setinin kaçındığı bir uzlaşmadır.

Çoğu programın yaptığı hata bir metodolojiyi seçip savunmaktır. Sadece-A/B mağazası segment optimumlarını masada bırakır; sadece-kişiselleştirme mağazası sadece titiz A/B'nin üretebileceği toplam optimizasyon fırsatını kaçırır. Doğru duruş her ikisini de yürütmek, her birini uygulandığı yerde kullanmak ve birleşmelerine izin vermektir.

Çoğu kurumsalın indiği hibrit örüntü

Olgun kurumsal örüntü her segment için en iyi varyantı bulmak için A/B testi kullanır, sonra o varyantı o segmente sunmak için kişiselleştirme kullanır. İki disiplin birbirini besler.

• Aşama bir — segment tanımlama. Pazarlama ekibi gösterilebilir şekilde farklı yanıt veren segmentleri tanımlar. Yaygın başlangıç segmentleri: kaynak (ücretli vs organik vs doğrudan), yenilik (ilk kez vs dönen vs terk-eden), cihaz (mobil vs masaüstü), bölge (birincil vs ikincil pazar).
• Aşama iki — segmente edilmiş A/B testi. Her segment tüm segmentler arasında ortalayan küresel bir test yerine o belirli segmentte en iyi performans gösteren varyantı bulmak için kendi A/B testini yürütür.
• Aşama üç — kişiselleştirme kural yazımı. Her segmente edilmiş testin kazanan varyantı o segment için kural olur. Kişiselleştirme kural motoru her segmente kendi kazananını sunar.
• Aşama dört — sürekli iyileştirme. Yeni varyantlar önerildikçe küresel kuyruk yerine segment-özgü A/B kuyruğuna girerler. Optimizasyon döngüsü, toplamda bulanıklaşmak yerine segment başına sıkılaşır.

Bu örüntünün ölçülebilir sonucu, toplam dönüşüm oranının her iki disiplinin tek başına üretebileceğinden daha hızlı iyileşmesi ve iyileşmenin savunulabilir olmasıdır çünkü her kuralın arkasında bir A/B testi vardır. Optimizasyon ROI'si hakkında finans konuşması daha keskinleşir çünkü iyileşme ayrıştırılabilir — 'bu kural bu segmente %3 ekledi, bu kural o segmente %5 ekledi, toplam kaldırma ağırlıklı toplamdır.'

Her ikisi de çalıştığında raporlama neye benzer

Kurumsal programların hibrit örüntüye kısa kalmasının en yaygın nedeni raporlamanın zorlaşmasıdır. Toplam dönüşüm oranı tek bir rakamdır; kural atıflı segment başına dönüşüm oranı birçok rakamdır ve analitik yığınının hepsini hizada tutması gerekir. Raporlamayı önce çözen ekipler örüntüye tam olarak bağlanma eğilimindedir.

Reflex tarzı kişiselleştirme, kuralın oluşturulduğu görünümde kural başına gösterim, tıklama ve dönüşümleri ortaya çıkararak raporlama sorununun bir kısmını çözer. Bir kural yayınlayan pazarlamacı, üç analitik aracını birleştirmeden kuralın ölçülebilir sonucunu görür. Kuralı besleyen A/B testi yanında belgelenmiştir, böylece kuralın arkasındaki muhakeme, bir sonraki iterasyon planlanırken görünürdür.

Organizasyonel çıkarım, optimizasyon disiplininin bir uzman tarafından yürütülen periyodik bir projeden pazarlama ekibinin sahip olduğu sürekli bir uygulamaya geçmesidir. Uzman rolü kaybolmaz — segment analizi, test tasarımı, güven aralığı disiplini hâlâ uzmanlık gerektirir — ama günlük kural yazımı bir mühendislik bileti değil bir pazarlama işlevi haline gelir.

Bir A/B testinin kazanan varyantı bir uzlaşmadır. Kaybeden varyantı tercih eden her segment, kazananın sunmadığı belirli bir fırsattır. Kişiselleştirme uzlaşmayı sona erdirir.

Geçiş

Sadece-A/B'den A/B-artı-kişiselleştirmeye geçmek A/B disiplinini terk etmeyi gerektirmez. İzleyicinin gösterilebilir şekilde farklı yanıt verdiği iki veya üç segmenti tanımlamayı, her segmentin en iyi varyantını bulmak için segmente edilmiş A/B testleri yürütmeyi ve her varyantı segmentine sunmak için bir kural motoru kullanmayı gerektirir. Birinci ay hedefi kapsamlı bir kişiselleştirme dağıtımı değil, temiz segmentasyon ve temiz ölçümle iki veya üç kuraldır.

inMOLA'nın Reflex modülü kişiselleştirme katmanını pazarlama ekibinin zaten kullandığı A/B test çerçevesiyle paralel olarak yürütür. Kurallar A/B test kazananlarından tohumlanabilir, dakikalar içinde yayınlanır ve oluşturuldukları görünümde kural başına ölçülür. A/B testi bir segment içindeki en iyi varyantı keşfetmek için yetkili kalır; kural motoru her segmentin kazananını gördüğünden emin olan yönlendirmeyi ele alır.

Yirmi yıl boyunca web sitesi optimizasyon kazançları üreten A/B test disiplini geçersiz değil. Hibrit örüntünün yarısıdır. Diğer yarısı — her segmentin gerçekten tercih ettiği varyantı gördüğünden emin olan kural motoru — çoğu kurumsal programın hâlâ eksik olduğu kısımdır ve dört çeyrek boyunca birleşen kaldırma önemli.