Interprete seus resultados de teste do InSight

Após a execução do seu teste, você pode acessar a página de resultados do InSight para ver o impacto que sua ação de marketing teve sobre a métrica desejada. A tela de resultados do InSight exibe as seguintes informações sobre seu teste:

• Uma visão geral dos resultados.
• Insights práticos que ajudam na interpretação dos resultados com sugestões para os próximos passos.
• Um detalhamento granular das principais métricas.

Glossário

Os termos a seguir são usados na página de resultados do InSight e neste documento para descrever os resultados de teste.

Aumento incremental

Sua campanha teve um efeito positivo na métrica-alvo que não teria ocorrido se a campanha não tivesse sido veiculada.

Perda

Sua campanha teve um efeito negativo na métrica-alvo que não teria ocorrido se a campanha não tivesse sido veiculada.

Canibalização orgânica

Eventos/instalações que teriam ocorrido sem a realização da ação de marketing. Os dados de canibalização orgânica estão disponíveis somente ao medir o Início da campanha ou o Aumento do orçamento.

Valor absoluto do efeito incremental

O efeito que sua ação teve sobre o valor da métrica durante todo o período de teste. Ele é mensurado pela comparação da diferença média diária entre o valor real com a ação e o valor previsto médio da métrica sem a ação. O valor absoluto é calculado usando a seguinte fórmula: average actual value - average predicted value.

Porcentagem do efeito incremental

O efeito que sua ação causou na métrica-alvo em porcentagem. Ele é mensurado pela comparação da diferença média por dia entre o valor previsto da métrica sem a ação e o valor real com a ação.

MAPE

O valor erro percentual absoluto médio (MAPE) mensura a diferença média entre os valores reais da sua métrica-alvo durante o pré-período e os valores previstos produzidos pelo modelo. Uma porcentagem mais baixa da diferença entre esses valores indica um modelo mais preciso. Um valor abaixo de 10% é alto , de 10% a 20% é médio e acima de 20% é baixo .

Valor-p

O valor-p (valor de probabilidade) representa a probabilidade de que seus resultados se devem ao acaso. Um valor-p mais baixo indica uma maior probabilidade de sua ação de marketing ter impactado diretamente a sua métrica-alvo, enquanto um valor-p mais alto indica uma maior probabilidade de seus resultados terem vindo de outras alterações. Valores inferiores a 0,05 indicam que a ação mensurada teve um impacto significativo.

• Valor-p 0,01

  • Um valor-p de 0,01 indica uma probabilidade de 1% de que o efeito observado pode ter ocorrido devido ao acaso. Isso é considerado uma forte evidência de que sua ação de marketing teve um impacto significativo.

• Valor-p 0,2

  • Um valor-p de 0,2 indica uma probabilidade de 20% de que o efeito observado tenha sido resultado de flutuações aleatórias em vez de sua ação de marketing. Ele sugere que sua ação de marketing pode ter tido um impacto, mas a evidência não é forte o suficiente para ter certeza sem dados ou análises adicionais.

• Valor-p 0,5

  • Um valor-p de 0,5 indica uma probabilidade de 50% de que os efeitos observados tenham sido resultado do acaso, sugerindo que não há evidência de que sua ação de marketing teve algum impacto significativo na métrica-alvo.

Resultados reais e previstos

A tela de resultados permite analisar os resultados de todo o tráfego e do tráfego orgânico. Alterne entre essas visualizações selecionando as guias Todos e Orgânico.

A tela de resultados mostra as seguintes informações:

• O resultado do teste: se a ação de marketing teve um impacto positivo, misto, ou negativo na sua campanha.
• Ação: a ação de marketing que você selecionou para o teste.
• Métrica: a métrica que você escolheu para a mensuração.
• Efeito incremental: a diferença entre o que o InSight previu que aconteceria e o que realmente aconteceu no período de mensuração selecionado.
• MAPE: o valor erro percentual absoluto médio.
• Desempenho do modelo: o grau de confiabilidade do modelo.
• Valor-p: o valor-p da sua ação.
• Significância da ação: se a alteração estava dentro do intervalo das previsões do InSight (representado pela área roxa no gráfico).
  • Se os resultados reais estiverem dentro do intervalo da previsão, o resultado será insignificante.
  • Se o resultado estiver fora do intervalo de previsão, o resultado será significativo.

A Adjust calcula o resultado de um teste mensurando o impacto que a ação de marketing teve sobre sua métrica desejada para todo o tráfego e para tráfego orgânico. A tabela abaixo mostra como cada resultado é calculado.

Insights práticos

Para ajudar na compreensão dos resultados do seu teste, a Adjust oferece insights práticos. Para cada teste, a Adjust exibe detalhes sobre o que aconteceu quando as ações de marketing foram realizadas para ajudar você a interpretar os resultados do teste, bem como recomendações que fornecem conselhos práticos sobre o que fazer em seguida com base nesses resultados.

Por exemplo, você acabou de realizar um teste do InSight para avaliar o impacto de sua campanha recém-lançada e determinar se ela atingiu o aumento incremental desejado tanto no tráfego total como no tráfego orgânico.

Com seu teste do InSight, você pode ver informações detalhadas sobre o que ocorreu ao realizar suas ações de marketing. Por exemplo, você pode avaliar o efeito incremental da campanha e determinar se as instalações de todo o tráfego e do tráfego orgânico aumentaram ou diminuíram, ou se aconteceu uma canibalização orgânica. Esses detalhes são úteis para que você possa avaliar a eficácia da sua campanha.

Além disso, a Adjust fornece recomendações com base nos resultados do teste. Se a sua campanha levou a um aumento significativo em todas as instalações, mas também resultou em canibalização orgânica, a Adjust pode sugerir aumentar seu orçamento para essa campanha e reduzir suas janelas de atribuição.Ao combinar resultados detalhados com recomendações acionáveis, a Adjust ajuda você a tomar decisões informadas e a refinar suas estratégias de marketing com eficácia.

Dados avançados

A seção Dados avançados mostra um detalhamento das principais métricas relacionadas ao seu teste do InSight. Você pode selecionar o ícone de adição tanto para todo o tráfego como para o tráfego orgânico para mostrar os valores de cada métrica antes e depois da ação de marketing selecionada para ver o impacto exato em sua campanha. Essas diferenças estão resumidas na linha Diferenças abaixo de cada tipo de tráfego.

Para cada teste, o InSight exibe um resumo do efeito incremental que a sua ação de marketing teve na métrica desejada ao longo do período de teste. Isso é feito com as seguintes métricas:

• Valor absoluto do efeito incremental: a diferença média diária entre o que o InSight previu que aconteceria e o que realmente aconteceu no período de mensuração selecionado.
• Porcentagem de efeito incremental: a diferença média diária entre o que o InSight previu que aconteceria e o que realmente aconteceu no período de mensuração selecionado, expresso como uma porcentagem.

As seguintes métricas específicas do InSight também estão disponíveis no Datascape e na API do Report Service. Confira Métricas do Datascape para obter uma lista completa das métricas do Datascape.

Interpretação dos seus resultados

Depois de executar um teste de incrementalidade do InSight e de seu status ser atualizado para Concluído , você poderá verificar os resultados do teste.