Divi Lead'lerle A/B Testi Yaparken İstatistiksel Önem Nasıl Belirlenir

Herkes daha fazla tıklama almak ve dönüşümlerini artırmak ister. Yeterince zaman, sıkı çalışma ve biraz şans verildiğinde, herkes bu sayıları yükseltebilir – ama tam olarak neyin en iyi sonucu verdiğini ayrı ayrı test etme sihriyle bulabilecekken neden şansa güvenelim?

Son birkaç gündür bloga dikkat ettiyseniz, Divi 2.7'nin lansmanını ve onunla birlikte yeni Divi Leads aracının gelişini fark etmiş olabilirsiniz. Divi Lead'lerin kullanıma sunulmasıyla, Divi Builder'dan ayrılmadan ayrıntılı A/B testleri yapabileceksiniz.

Ancak, başarılı A/B testleri yürütmek için sonuçlarınızın istatistiksel olarak anlamlı kabul edilip edilemeyeceğini nasıl belirleyeceğinizi bilmeniz gerekir. Bu makalede ele alacağımız şey tam olarak bu.

Divi Lead'lerle A/B Testi: Giriş

Önceden WordPress bölünmüş test araçları deneyimi olan herkes, kısmen Divi Builder'a sorunsuz entegrasyonundan kaynaklanan Divi Lead'lerin basitliğini takdir edebilecektir. Bununla, WordPress panosundan hiç ayrılmadan testlerinizin sonuçlarını hem çalıştırabilir hem de kontrol edebilirsiniz.

Yeni bir A/B testi başlatmak, kampanyanızın konusu olarak seçmek istediğiniz modüle sağ tıklayıp ardından Bölünmüş Test seçeneğini seçmek kadar basittir:

Bunu yaptığınızda, kampanyanız için hedef seçim sürecini açıklayan bir pencere ile karşılaşacaksınız. Divi Leads, yalnızca modülleri değil, aynı zamanda testleriniz için bireysel hedefler olarak satırları ve tüm bölümleri seçmenizi sağlar. Bir hedef seçildiğinde, Divi Builder'ınızda test amaçları için beğeninize göre şekillendirebileceğiniz yinelenen bir açılır pencere göreceksiniz.

Divi Lead'leri kullanarak, tek bir Oluşturucu penceresinden aynı sayfanın birden çok varyasyonunu oluşturabileceksiniz. Ancak, bugün ilgi alanlarımız A/B testiyle ilgili olduğundan, örneklerimizi (ve beraberindeki matematiği) daha basit tutmak için kendimizi tek bir varyasyonla sınırlayacağız.

Bir varyasyon oluşturduğunuzda, Divi Builder'ın sağ üst köşesinde bulunan Bölünmüş Test İstatistikleri penceresine erişebileceksiniz. İçinde, tıklamalar, okumalar, geri dönmeler ve hedef etkileşiminiz hakkında ayrıntılı bilgilerin yanı sıra birden çok zaman dilimi için faydalı grafikler bulacaksınız:

A/B testinizin nasıl ilerlediğini Bölünmüş Test İstatistikleri penceresini açmanıza gerek kalmadan bile kontrol edebilirsiniz, çünkü söz konusu modüller test süresince başlıklarında en son tıklama yüzdelerini gösterecektir:

Bilgilendirilmiş bir sonuca varmak için yeterli veriyi topladığınızdan emin olduğunuzda, tek yapmanız gereken testte yer alan modüle sağ tıklayıp ardından Bölünmüş Testi Sonlandır seçeneğine tıklayın. Daha sonra, hangi konu varyasyonunu koruyacağınızı seçmeniz istenecektir – bu geri alınamayacak bir işlemdir, bu yüzden bunu yapmadan önce sonuçlarınızın kesin olduğundan emin olun!

Artık Divi Lead'leri nasıl kullanacağınızı biliyorsunuz, ancak herhangi bir sonuç kümesine güvenilip güvenilemeyeceği tam olarak nasıl belirlenir? Elbette, testlerinizde şansın rolünün en aza indirildiğinden emin olarak. Bu 'şans faktörü' hakkında biraz daha konuşalım.

A/B Testi Sırasında İstatistiksel Önem ve 'Şans Faktörü'

Aşağıdaki örneği inceleyin: Açılış sayfanızda iki çeşit harekete geçirici mesaj (CTA) içeren basit bir A/B testi çalıştırmaya karar verdiniz. Birkaç gün geçer, birkaç yüz ziyaret alırsınız (siteniz hala oldukça yenidir) ve varyasyonlardan biri açıkça diğerinden daha iyi performans gösterir – %3'lük etkileyici bir tıklama oranına karşılık %5'lik etkileyici bir tıklama oranı. onun rakibi.

Kendinize şunu düşünebilirsiniz, Hey, bu bir süredir devam ediyor ve sanırım buna yetecek kadar ziyaretçi aldım – hadi bir numaralı seçimle başlayalım! – ve neden olmasın? Sonuçta, sayılar sizi destekliyor.

Ancak buradaki sorun, 'şans faktörünü' dikkate almamış olmanız olabilir.

Ya aynı testi başka bir zamanda yaptıysanız ve sonuçlar önemli ölçüde farklıysa? Ya da testi daha uzun bir süre devam ettirmeye karar verdiyseniz ve sayılar çok daha büyük bir örnek havuzuyla ters yönde değişmeye başladıysa? Her A/B testinde şans bir rol oynar ve yapabileceğimiz en iyi şey onu rahat hissedeceğimiz bir düzeye indirgemektir.

Bunu yapmak için, sonuçlarınıza bir güven düzeyi oluşturmanız gerekir. Bu, çok katılımcılı bir çalışmanın sonuçlarını gözden geçirme şansınız olsaydı, okumuş olabileceğiniz bir şeydir. Örnek testte matematik yaptıktan sonra, sonuçların istatistiksel olarak anlamlı kabul edilemeyeceğini ve aslında zamanın yalnızca %50'sini tutacağını fark ettiğinizi söyleyin. Bu rakamla rahat olur musun?

Cevabınız kocaman bir "Hayır" ise – harika! Başarılı bir A/B testi yapma şansınızı en üst düzeye çıkarmak için yüksek düzeyde istatistiksel anlamlılık ile ideal örnek boyutlarını nasıl oluşturacağınızı size öğretelim.

Divi Lead'lerle A/B Testi Yaparken İstatistiksel Önem Nasıl Belirlenir

Böyle bir test için istatistiksel anlamlılığı belirlemeye çalışırken yapmanız gereken ilk şey, sonuçlarınız için tam olarak hangi düzeyde güven duyacağınızı belirlemektir. Güvenilirlik söz konusu olduğunda kişisel olarak %95'in iyi bir nokta olduğunu gördük. Daha spesifik olarak, %95, bugün kullanacağımız yöntem olan Ki-Kare istatistiksel anlamlılık testinde 0,05'lik bir alfayı (yani güven derecesini) temsil eder (endişelenmeyin, ne olduğunu açıklayacağız). bu daha ileride anlamına gelir).

Daha ileri gitmeden önce, rotadan aşağı inmek istemiyorsanız, bu bölümün alt kısmında bağlantı verdiğimiz istatistiksel önemi hesaplamak için kullanılabilecek araçlar olduğunu belirtmekte fayda var.

Son bölümde kullandığımıza benzer bir örnek üzerine inşa edelim. Birkaç gün boyunca bir harekete geçirici mesajın iki versiyonunu çalıştırdığımız bir A/B testi yapın (tam uzunluğun bizim amaçlarımız için dikkate alınması gerekmez) ve A versiyonunun daha yüksek bir toplamla biraz öne çıkmasıyla sonuçlanır. tıklama sayısı:

Bu tablodaki Evet satırı, her iki sürüm için toplam ziyaretçi toplamı en altta olacak şekilde, söz konusu CTA'yı gerçekten tıklayan kişilerin sayısını gösterir. Şimdi işlerin biraz zorlaştığı yer burasıdır – yukarıdaki tablodaki, 'orijinal' olarak adlandıracağımız değerleri kullanarak, her iki CTA versiyonunun da 'beklenen' değerlerini bulacağız.

Aşağıda ele alacağımız beklenen sonuç formülünü izleyerek elde ettiğimiz sonuçları gördüğünüzde, bunlardan neden 'beklenen' olarak bahsettiğimiz konusunda biraz kafanız karışmış olabilir. Ki-Kare testinde bunlara basitçe atıfta bulunulur, bu yüzden bunları, testiniz için, yürütme sırasında gerçekten gözlemlediğiniz değerlerden türetilen farklı bir potansiyel sonuç olarak düşünün. Sonuçlarımızın istatistiksel anlamlılık düzeyini belirlemek için, uğraştığımız varyasyonların sayısı göz önüne alındığında, dört beklenen değeri hesaplamamız gerekecek:

• A versiyonuna tıklayan kişi sayısı,
• B versiyonuna tıklayan kişi sayısı ve
• Her bir seçenek sunulduğunda CTA'ya hiç tıklamayan kişilerin sayısı.

A sürümüne tıklayan kişi sayısı için 'beklenen' değer şu şekilde olacaktır:

Bu sayıya aşağıdaki formülle ulaşıyoruz…

(77 x 1019) / 2045

… her iki sürümü için toplam ziyaretçi sayısına bölünmesiyle versiyon A gösterildi insanların toplam çarpımına hem Harekete Geçirici Mesajları tıklayın vermedi insanların toplam sayısı olan:

Şimdi bu işlemi kalan alanlar için tekrarlayalım. Formül aynı kalır – tek yapmamız gereken, üzerinde çalıştığımız satıra bağlı olarak ilgili Evet ve Hayır toplamını almak, bunu söz konusu sütunun ilgili toplamı ile çarpmak, her iki sürümdeki toplam ziyaretçi sayısına bölmek. , ve sonuç şöyle görünmelidir:

Kaybolmuş hissediyorsanız endişelenmeyin – her şey bir dakika içinde anlam kazanacak. Şimdi hem orijinal hem de 'beklenen' sonuçlarımız var, bu yüzden doğal olarak başka bir tablo elde etmek için her ikisini de kullanarak bir formül uygulayacağız. Bu son, söz veriyoruz!

Bu sefer, şu ana kadar ele aldığımız her bir değerin 'Ki-Kare' faktörünü hesaplayacağız ve sonuçlarımızın istatistiksel olarak anlamlı kabul edilip edilemeyeceğine karar vereceğiz. Bunu yapmak için aşağıdaki formülü kullanacağız:

(expected value - original value)² / expected value for each individual cell

Dolayısıyla, CTA'nın A Versiyonuna tıklayan kişilerin Ki-Kare faktörünü hesaplamak için formül şöyle görünecektir…

(38.36 - 43)² / 38.36

…bu aşağıdakilerle sonuçlanır:

İşlemi kalan tüm değerler için tekrarladığımızda, elimizde şunlar kalır:

Sonunda, tek ihtiyacımız olan tek bir Ki-Kare Faktörü – her iki versiyonun toplam izleyicilerinin toplamı – bizim durumumuzda 1.15 olacaktır. Şimdi, bu bölümün başında, mütevazı bir %95 güven derecesi hedeflediğimizi nasıl belirttiğimizi ve bunun 0,05'lik bir alfayı nasıl temsil ettiğini hatırlıyor musunuz? Bu alfa, dikkate almanız gereken varyasyon sayısına bağlı olarak belirli bir güven derecesi elde etmek için gerekli değerleri atayan Ki-Kare dağılım tablosunda önceden belirlenmiş bir değerdir. Tüm testler, beklenen istatistiksel anlamlılık düzeyinize ulaşmak için varsayımsal %100 güven derecesi ile başlar, alfayı 1'den çıkarmanız gerekir, bu nedenle…

1 - 0.05 = 0.95

… bu da bize istediğimiz yüzdeyi verir. 0.1'lik bir alfa, %90'lık bir güven derecesine eşittir ve bu böyle devam eder. Alfa ne kadar küçükse, sonuçlarınız o kadar güvenilirdir ve daha küçük alfalar istatistiksel olarak anlamlı değerler döndürmek için çok daha yüksek örnekler gerektireceğinden, tatlı noktamız olarak %95'e karar verdik.

Tabloya göre, Evet veya Hayır faktörlerine sahip basit bir A/B testi ile, örneğimizin ne yazık ki gerisinde kaldığı 3.841'lik bir Ki-Kare Faktörüne ulaşmamız gerekecekti. Bu hesaplamalar doğrultusunda, örneğimizdeki sonuçlar için %95'lik bir kesinlik derecesi elde etmek için, her iki varyasyon arasında dağıtılan toplamda en az 6.830 ziyaretçi elde edene kadar testi uzatmamız gerekirdi.

2,045 ziyaretçiden oluşan örneklem büyüklüğüne sahip orijinal testimiz, zamanın yalnızca %85'ini karşılayabilirdi. Şimdi, bu oldukça yüksek görünebilir, ancak örneklerimizde oldukça küçük değerler kullandığımızı göz önünde bulundurmalısınız. Gerçek bir senaryoda, ihlal muhtemelen çok daha büyük olurdu.

Şimdiye kadar bizimle kaldıysanız, istatistiksel anlamlılığı belirlemek için gereken çok sayıda hesaplama nedeniyle biraz bunalmış hissedebilirsiniz. Neyse ki, HubSpot A/B Test Hesaplayıcısı veya Dr. Pete'in Bölünmüş Test Hesaplayıcısı ve Karar Aracı gibi, işi sizin için kaldırabilecek birçok çevrimiçi araç var.

Çözüm

Ayırma testi güçlü bir araç olsa da, testleriniz uygun şekilde kalibre edilmemişse bazen sizi yanlış yöne yönlendirebilir. Bununla birlikte, yeni Divi Leads istatistik raporlarıyla donanmış ve artık bir sonucun güvenilir olamayacağını nasıl tespit edeceğinizi bilerek, A/B testini şık bir şekilde başlatmaya tamamen hazırsınız.

Aşağıdaki önemli A/B testi faktörlerini unutmayın:

1. Örnek boyutlarınızın yeterince büyük olduğundan emin olun. Bir teste ne kadar çok değişken eklemeyi seçerseniz, o kadar fazla trafiğe ihtiyacınız olur.
2. Testlerinizi acele etmeyin! Kilometreniz, sitenizin ne kadar trafik aldığına bağlı olarak burada değişebilir.
3. Sonuçlarınızın istatistiksel olarak anlamlı olup olmadığını belirlemek için Ki-Kare testini kullanın.

A/B testi, dönüşüm oranlarınızı önemli ölçüde artırmanıza hiç yardımcı oldu mu? Eğer öyleyse, ne tür değişiklikler yaptınız? Deneyiminizi bizimle paylaşın ve aşağıdaki yorumlar bölümüne abone olun!

vladwel / Shutterstock.com tarafından makale küçük resim