Interprete seus resultados de teste do InSight
Após a execução do seu teste, você pode acessar a página de resultados do teste clicando nele na página de lista Todos os testes. Lá, você verá o impacto que sua ação de marketing teve sobre a métrica desejada e as seguintes informações sobre seu teste:
- Um resumo dos seus resultados.
- Insights que ajudam na interpretação dos resultados e recomendações para os próximos passos.
- Um detalhamento granular das principais métricas.
Para ajudar na compreensão dos resultados do seu teste, a Adjust oferece insights práticos. Para cada teste, a Adjust exibe detalhes sobre o impacto da sua ação de marketing para ajudar você a interpretar os resultados do teste, bem como recomendações que fornecem conselhos práticos sobre o que fazer em seguida com base nesses resultados.
Por exemplo, você acabou de realizar um teste do InSight para avaliar o impacto de sua campanha recém-lançada e determinar se ela atingiu o aumento incremental desejado tanto no tráfego total como no tráfego orgânico.
Com seu teste do InSight, você pode ver informações detalhadas sobre o que ocorreu ao realizar suas ações de marketing. Por exemplo, você pode avaliar o efeito incremental da campanha e determinar se as instalações de todo o tráfego e do tráfego orgânico aumentaram ou diminuíram, ou se aconteceu uma canibalização orgânica. Esses detalhes são úteis para que você possa avaliar a eficácia das suas campanhas.
Além disso, a Adjust fornece recomendações com base nos resultados do teste. Se a sua campanha levou a um aumento significativo em todas as instalações, mas também resultou em canibalização orgânica, a Adjust pode sugerir aumentar seu orçamento para essa campanha e reduzir suas janelas de atribuição.Ao combinar resultados detalhados com recomendações acionáveis, a Adjust ajuda você a tomar decisões informadas e a refinar suas estratégias de marketing com eficácia.
Glossário
Os termos a seguir são usados na página de resultados para descrever os resultados de teste.
- Aumento incremental
- Sua campanha teve um efeito positivo na métrica-alvo que não teria ocorrido se a campanha não tivesse sido veiculada.
- Perda
- Sua campanha teve um efeito negativo na métrica-alvo que não teria ocorrido se a campanha não tivesse sido veiculada.
- Canibalização orgânica
- Eventos/instalações que teriam ocorrido sem a realização da ação de marketing. Os dados de canibalização orgânica estão disponíveis somente ao medir o Início da campanha ou o Aumento do orçamento.
- Valor absoluto do efeito incremental
- O efeito que sua ação teve sobre o valor da métrica durante todo o período de teste. Ele é mensurado pela comparação da diferença média diária entre o valor real com a ação e o valor previsto médio da métrica sem a ação. O valor absoluto é calculado usando a seguinte fórmula:
average actual value - average predicted value. - Porcentagem do efeito incremental
- O efeito que sua ação causou na métrica-alvo em porcentagem. Ele é mensurado pela comparação da diferença média por dia entre o valor previsto da métrica sem a ação e o valor real com a ação.
- MAPE (desempenho do modelo)
- O valor erro percentual absoluto médio (MAPE) mensura a diferença média entre os valores reais da sua métrica-alvo durante o pré-período e os valores previstos produzidos pelo modelo. Uma porcentagem mais baixa da diferença entre esses valores indica um modelo mais preciso. Um valor abaixo de 10% é alto , de 10% a 20% é médio e acima de 20% é baixo .
- Valor-p (significância)
- O valor-p (valor de probabilidade) representa a probabilidade de que seus resultados se devem ao acaso. Um valor-p mais baixo indica uma maior probabilidade de sua ação de marketing ter impactado diretamente a sua métrica-alvo, enquanto um valor-p mais alto indica uma maior probabilidade de seus resultados terem vindo de outras alterações. Valores inferiores a 0,05 indicam que a ação mensurada teve um impacto significativo.
Valor-p 0,01
- Um valor-p de 0,01 indica uma probabilidade de 1% de que o efeito observado pode ter ocorrido devido ao acaso. Isso é considerado uma forte evidência de que sua ação de marketing teve um impacto significativo.
Valor-p 0,2
- Um valor-p de 0,2 indica uma probabilidade de 20% de que o efeito observado tenha sido resultado de flutuações aleatórias em vez de sua ação de marketing. Ele sugere que sua ação de marketing pode ter tido um impacto, mas a evidência não é forte o suficiente para ter certeza sem dados ou análises adicionais.
Valor-p 0,5
- Um valor-p de 0,5 indica uma probabilidade de 50% de que os efeitos observados tenham sido resultado do acaso, sugerindo que não há evidência de que sua ação de marketing teve algum impacto significativo na métrica-alvo.
Insights práticos
A tela de resultados permite analisar os resultados para Todas as instalações e para as instalações Orgânicas com cinco seções que destacam todos os aspectos dos testes de incrementalidade e oferecem insights práticos.
Barra do app
- Identifica os principais aspectos do teste de incrementalidade:
- Ação: a ação de marketing selecionada para o teste.
- Campanha: nome da campanha selecionada para o teste.
- País: país em que o teste foi executado.
- Canal: o canal selecionado para o teste.
- Após a ação: o período em que a incrementalidade foi analisada.
- Métrica: a métrica que você escolheu para a mensuração.
- Desempenho: o grau de confiabilidade do modelo.
- Significância: se a alteração se encontra dentro do intervalo da previsão.
- Se os resultados reais estiverem dentro do intervalo da previsão, o resultado será insignificante.
- Se o resultado estiver fora do intervalo de previsão, o resultado será significativo.
Resposta da ação
- O resultado do teste: se a ação de marketing teve um impacto positivo, misto, ou negativo na sua campanha.
- Informações referentes à sua ação e ao impacto dela.
- Recomendações para os próximos passos com base nos resultados de teste.
A Adjust calcula o resultado de um teste mensurando o impacto que a ação de marketing teve sobre sua métrica desejada para todo o tráfego e para o tráfego orgânico. A tabela abaixo mostra como cada resultado é calculado.
| Ação de marketing | Impacto na métrica para todo o tráfego | Impacto na métrica para tráfego orgânico | Resultado do InSight |
|---|---|---|---|
| Início da campanha | Aumento | Aumento | Positivo |
| Início da campanha | Aumento | Perda | Misto |
| Início da campanha | Perda | Aumento | Misto |
| Início da campanha | Perda | Perda | Negativo |
| Aumento do orçamento | Aumento | Aumento | Positivo |
| Aumento do orçamento | Aumento | Perda | Misto |
| Aumento do orçamento | Perda | Aumento | Misto |
| Aumento do orçamento | Perda | Perda | Misto |
| Interrupção de campanha | Aumento | Aumento | Misto |
| Interrupção de campanha | Aumento | Perda | Misto |
| Interrupção de campanha | Perda | Aumento | Misto |
| Interrupção de campanha | Perda | Perda | Positivo |
| Diminuição do orçamento | Aumento | Aumento | Negativo |
| Diminuição do orçamento | Aumento | Perda | Misto |
| Diminuição do orçamento | Perda | Aumento | Misto |
| Diminuição do orçamento | Perda | Perda | Positivo |
Efeito incremental
- Os dois primeiros gráficos mostram o impacto incremental da média diária tanto como porcentagem quanto como valor absoluto para todas as instalações e para as instalações orgânicas.
- O gráfico exibe uma comparação dos valores da média diária real (linha sólida) e da prevista (linha pontilhada).
Para cada teste, o InSight exibe um resumo do efeito incremental que a sua ação de marketing teve na métrica desejada ao longo do período de teste. Isso é feito com as seguintes métricas:
As seguintes métricas específicas do InSight também estão disponíveis no Datascape e na API do Report Service. Confira Métricas do Datascape para obter uma lista completa das métricas do Datascape.
| Definição | Fórmula | ID da API de métrica | |
|---|---|---|---|
| Receita média por evento | A receita média gerada pelo evento de usuários que instalaram seu aplicativo dentro do período selecionado. | Total revenue of event / number of times the event was triggered | average_revenue_per_event |
| Receita incremental | Receita extra gerada ao comparar com um grupo de controle | (Actual incremental value - mean incremental value) * Average revenue per event | incremental_revenue |
| ROAS incremental | Retorno sobre os custos com anúncios (ROAS) calculado apenas a partir da receita in-app durante o período da coorte estipulado | - | incremental_roas |
Efeito incremental ao longo do tempo
Todas as instalações com o impacto da ação.
Instalações orgânicas com o impacto da ação.
Gráfico que mostra os resultados antes e depois da ação.
- Os resultados após a ação destacam o intervalo de previsão e onde as instalações reais e previstas se encontram nele.
Observe que você pode escolher "Só mostrar depois da ação" para isolar os pontos de dados após a ação na sua visualização.
Dados avançados
A seção Dados avançados mostra um detalhamento das principais métricas relacionadas ao seu teste do InSight. Você pode selecionar o ícone de adição tanto para todo o tráfego como para o tráfego orgânico para mostrar os valores de cada métrica antes e depois da ação de marketing selecionada para ver o impacto exato em sua campanha.
Se sua ação for uma campanha, você verá a granularidade no nível da campanha com as seguintes métricas, conforme o caso:
- Instalações (atribuição)
- Instalações (SKAN)
- Custo por instalação (todos)
- Total de sessões
- Custos com anúncios