InSight test sonuçlarınızı yorumlamak
Test bittiğinde, tüm testler listesinden yürüttüğünüz testi seçerek test sonuçları sayfasına gidebilirsiniz. Sonuçlar sayfası, pazarlama eyleminizin hedef metriğiniz üzerindeki etkisini gösterecek ve testinizle ilgili aşağıdaki bilgileri görüntüleyecektir:
- Sonuçların bir özeti.
- Sonuçlarınızı yorumlamanıza yardımcı olacak içgörüler ve sonraki adımlar için öneriler.
- Ana metriklerin detaylı bir dökümü.
Test sonuçlarınızı değerlendirmenize yardımcı olmak için Adjust, uygulanabilir içgörüler sağlar. Ayrıca test sonuçlarını yorumlamanıza yardımcı olmak için, pazarlama eyleminizin etkisine dair Bilgiler sağlamanın yanı sıra, test sonuçlarını baz alarak bir sonraki adımlarınıza dair Öneriler sunar.
Örneğin, yeni kampanyanızın beklenen Tüm ve Organik trafikte incremental yükseliş sağlayıp sağlamadığını değerlendirmek için bir InSight testi yaptığınızı varsayalım.
InSight testinin sonucunda, pazarlama eylemlerinizi gerçekleştirdiğinizde nasıl bir etkiye sahip olduklarına dair ayrıntılı bilgileri görebilirsiniz. Örneğin, kampanyanın artımlı etkisini değerlendirebilir, Tüm ve Organik kurulumlardaki artışı, düşüşü veya organik kanibalizasyonun meydana gelip gelmediğini belirleyebilirsiniz. Bu bilgilerle kampanyalarınızın etkisini değerlendirebilirsiniz.
Ayrıca Adjust, test sonuçlarınızı baz alan Öneriler de sunar. Kampanyanız Tüm install'larda önemli bir artışa yol açtıysa, ancak aynı zamanda organik kanibalizasyona da neden olduysa Adjust, bu kampanyanın bütçesini artırmanızı ve aynı anda attribution pencerelerinizi kısaltmanızı önerebilir. Ayrıntılı sonuçları uygulanabilir önerilerle bir araya getirerek Adjust, bilinçli kararlar almanızı ve pazarlama stratejilerinizi etkili bir şekilde optimize etmenizi sağlar.
Terimler sözlüğü
Sonuçlar sayfasında test sonuçlarını açıklamak için aşağıdaki terimler kullanılır.
- Incremental Artış
- Kampanyanız, hedef metriğiniz üzerinde, kampanya yayınlanmasaydı gerçekleşmeyecek olumlu bir etki yarattı.
- Kayıp
- Kampanyanız, hedef metriğiniz üzerinde, kampanya yayınlanmasaydı gerçekleşmeyecek olumsuz bir etki yarattı.
- Organik kanibalizasyon
- Pazarlama aksiyonu yapılmasaydı gerçekleşecek event'ler/kurulumlar. Organik kanibalizasyon verileri sadece Kampanya başlangıcı ya da Bütçe artışı ölçümlenirken kullanılabilir.
- Incremental etki mutlak değeri
- Aksiyonun tüm test periyodu boyunca metrik değer üzerindeki etkisi. Bu, aksiyonla gerçekleşen değer arasındaki günlük ortalama farkın, aksiyon olmaksızın tahmin edilen ortalama metrik değeriyle karşılaştırılmasıyla ölçülür. Mutlak değer, bu formül ile hesaplanır:
average actual value - average predicted value. - Incremental etki yüzdesi
- Aksiyonunuzun hedef metrik üzerindeki yüzdelik etkisi. Bu etki, aksiyonun gerçekleşmediği durumda tahmini metrik değer ile aksiyonun var olduğu gerçek değer arasındaki ortalama günlük farkın karşılaştırılmasıyla ölçülür.
- MAPE (Model performansı)
- Ortalama mutlak yüzde hata (MAPE) değeri, hedef metriğinizin ön dönemdeki gerçek değerleri ile model tarafından üretilen öngörülen değerler arasındaki ortalama farkı ölçer. Bu değerler arasındaki fark yüzdesinin düşük olması, modelin daha doğru olduğunu gösterir. %10'un altındaki bir değer yüksek , %10'dan %20'ye kadar ortalama , %20 ve üzeri bir değer ise düşüktür .
- P-değeri (Anlamlılık)
- P-değeri (Olasılık değeri), sonuçlarınızın şansa bağlı olma olasılığını temsil eder. Daha düşük P-değeri, pazarlama aksiyonunuzun hedef metriğinizi doğrudan etkileme olasılığının yüksek olduğunu belirtirken, yüksek P-değeri, sonuçlarınızın başka değişikliklerden kaynaklanma olasılığının yüksek olduğunu belirtir. 0,05'ten düşük değerler, ölçümlediğiniz aksiyonun önemli bir etkiye sahip olduğunu gösterir.
P-değeri 0,01
- 0,01'lik bir P değeri, gözlenen etkinin şans eseri ortaya çıkma olasılığının %1 olduğunu gösterir. Bu, pazarlama aksiyonunuzun önemli bir etki yarattığına dair güçlü bir kanıt olarak kabul edilir.
P-değeri 0,2
- 0,2'lik bir P değeri, gözlemlenen etkinin pazarlama aksiyonunuzdan ziyade rastgele dalgalanmalardan kaynaklanma olasılığının %20 olduğunu gösterir. Pazarlama aksiyonunuzun bir etkisi olmuş olabilir, ancak daha fazla veri veya analiz olmadan emin olmak için yeterince güçlü değildir.
P-value 0,5
- 0,5'lik bir P-değeri, gözlemlenen etkilerin şansa bağlı olma olasılığının %50 olduğunu gösterir ve pazarlama aksiyonunuzun hedef metriğiniz üzerinde önemli bir etkisi olduğuna dair bir kanıt olmadığını gösterir.
Uygulanabilir İçgörüler
Sonuç ekranı, artımlılık testlerinizin tüm yönlerini vurgulamak ve size uygulanabilir içgörüler sunmak için Tüm install ve Organik install'ları beş bölümde analiz etmenizi sağlar.
Uygulama çubuğu
- Artımlılık testinizin önemli unsurlarını tanımlar
- Eylem: Test için seçtiğiniz pazarlama eylemi
- Kampanya: Test için seçilen kampanyanın adı
- Ülke: Testin yapıldığı ülke
- Kanal: Test için seçilen kanal
- Eylem sonrası: Artımlılığın analiz edildiği periyod
- Metrik: Ölçümlemek için seçtiğiniz metrik
- Performans: Modelin ne kadar güvenilir olduğu
- Anlamlılık: Değişikliğin tahmin aralığı içinde nerede olduğu.
- Gerçek sonuçlar tahmin aralığının içinde kalıyorsa, sonuç önemsizdir.
- Sonuçlar tahmin aralığının dışında kalıyorsa, sonuç önemlidir.
Eylem yanıtı
- Test Sonucu : Pazarlama eyleminin kampanyanız üzerindeki Olumlu , Karışık veya Olumsuz etkisi.
- Eyleminize ve sahip olduğu etkiye dair ayrıntılar.
- Test sonuçlarını baz alarak atabileceğiniz bir sonraki adımlar için öneriler.
Adjust, test sonucunu hesaplarken pazarlama eyleminizin Tüm ve Organik trafikte hedef metriğiniz üzerindeki etkisini ölçümler. Her sonucun nasıl hesaplandığını aşağıdaki tabloda bulabilirsiniz.
| Pazarlama eylemi | Tüm trafik için metrik üzerindeki etki | Organik trafik için metrik üzerindeki etki | InSight sonucu |
|---|---|---|---|
| Kampanya başlatma | Artış | Artış | Pozitif |
| Kampanya başlatma | Artış | Kayıp | Karma |
| Kampanya başlatma | Kayıp | Artış | Karma |
| Kampanya başlatma | Kayıp | Kayıp | Negatif |
| Bütçede artış | Artış | Artış | Pozitif |
| Bütçede artış | Artış | Kayıp | Karma |
| Bütçede artış | Kayıp | Artış | Karma |
| Bütçede artış | Kayıp | Kayıp | Karma |
| Kampanya durdurma | Artış | Artış | Karma |
| Kampanya durdurma | Artış | Kayıp | Karma |
| Kampanya durdurma | Kayıp | Artış | Karma |
| Kampanya durdurma | Kayıp | Kayıp | Pozitif |
| Bütçede düşüş | Artış | Artış | Negatif |
| Bütçede düşüş | Artış | Kayıp | Karma |
| Bütçede düşüş | Kayıp | Artış | Karma |
| Bütçede düşüş | Kayıp | Kayıp | Pozitif |
Kademeli Etki
- En üstteki iki grafik, tüm install'lar ve organik install'lar için günlük ortalama artımlı artış etkisini hem yüzde hem de mutlak değer olarak gösterir.
- Grafik, günlük ortalama Gerçekleşen (düz çizgi) ve Tahmini (noktalı çizgi) değerlerin karşılaştırmasını gösterir.
InSight, her test sonunda pazarlama eyleminizin hedef metrik üzerinde test periyodu içindeki Incremental etkinin bir özetini gösterir. Bu özet aşağıdaki metrikleri içerir:
InSight'a özel bu metrikler, aynı zamanda Datascape ve Rapor Servisi API'da da kullanılabilir. Datascape metriklerinin tam listesi için Datascape metrikleri makalemize göz atabilirsiniz.
| Tanım | Formül | Metric API ID | |
|---|---|---|---|
| Event başına ortalama revenue | Ortalama revenue, seçtiğiniz zaman periyodu içinde uygulamanızı install eden kullanıcılardan seçtiğiniz event başına elde edilir. | Event'in toplam revenue'sü / event'in toplam tetiklenme sayısı | average_revenue_per_event |
| Incremental revenue | Kontrol grubuyla karşılaştırıldığında elde edilen ekstra revenue | (Gerçek incremental değer - ortalama incremental değer) * Event başına ortalama revenue | incremental_revenue |
| Incremental ROAS | Reklam harcaması getirisi (ROAS), sadece bir cohort periyodu içindeki uygulama-içi revenue kullanılarak hesaplanır. | - | incremental_roas |
Zaman içinde artımlı etki
Tüm install'lar ile eylemin etkisi
Organik install'lar ile eylemin etkisi
Eylem öncesi ve sonrası sonuçları gösteren grafik
- Eylem sonrası sonuçları, tahmin aralığını ve gerçekleşen install'lar ile tahmin edilen install'ların hangi aralıkta olduğunu gösterir.
"Sadece eylem sonrasını göster" seçeneğini seçerek sadece eylem sonrası veri noktalarını görüntüleyebilirsiniz.
Gelişmiş veriler
Gelişmiş veriler kısmında InSight testinizle ilgili ana metriklerin bir dökümünü alabilirsiniz. Pazarlama eyleminizin kampanyanız üzerindeki etkisini tam olarak görmek için Tüm ve Organik trafiğin her ikisi için de artı ikonunu seçerek her metriğin pazarlama eyleminden Önceki ve Sonraki değerini görebilirsiniz.
Eğer eyleminiz bir kampanya ise, bu metriklerle birlikte kampanya seviyesinde detaylı bir görünüm göreceksiniz:
- Install'lar (Attribution)
- Installs (Network SKAN)
- CPI (tümü)
- Toplam session'lar
- Ad spend