Interpréter vos résultats de test InSight

Lorsque l'exécution de votre test est terminée, vous pouvez accéder à la page de résultats InSight pour voir l'impact que votre action marketing a eu sur votre métrique cible. L'écran des résultats InSight affiche les informations suivantes sur votre test :

• Un aperçu des résultats.
• Des perspectives exploitables qui vous aident à interpréter vos résultats et fournissent des suggestions pour les prochaines étapes.
• Une répartition granulaire des métriques clés.

Glossaire

Les termes suivants sont utilisés dans la page de résultats InSight et dans le présent document pour décrire les résultats de test.

Levier incrémental : Votre campagne a eu un effet positif sur votre métrique cible ; l'effet ne se serait pas produit sans l'exécution de la campagne.

Perte : Votre campagne a eu un effet négatif sur votre métrique cible ; l'effet ne se serait pas produit sans l'exécution de la campagne.

Cannibalisation organique : Les événements/installations qui se seraient produits si l'action marketing n'avait pas été réalisée. Les données de cannibalisation organique sont disponibles uniquement lors de la mesure du Début de campagne ou de l 'Augmentation de budget .

Valeur absolue de l'effet incrémental : L'effet qu'a eu l'action sur la valeur de la métrique sur toute la durée du test. Il est mesuré en comparant la différence quotidienne moyenne entre la valeur réelle avec l'action et la valeur de métrique prédite moyenne sans l'action. La valeur absolue est calculée à l'aide de la formule suivante : average actual value - average predicted value.

Pourcentage de l'effet incrémental : L'effet qu'a eu l'action sur la métrique sous la forme d'un pourcentage. Il est mesuré en comparant la différence quotidienne moyenne entre la valeur de métrique prévue sans l'action et la valeur actuelle avec l'action.

MAPE : La valeur d'erreur de pourcentage absolu moyen (MAPE) mesure la différence moyenne entre les valeurs réelles de votre métrique cible pendant la période antérieure et les valeurs prédites produites par le modèle. Un pourcentage de différence bas entre ces valeurs indique un modèle plus précis. Une valeur inférieure à 10 % est considérée élevée , entre 10 et 20 % = moyenne et supérieure à 20 % = faible .

P-value : La p-value (valeur de probabilité) représente la probabilité que vos résultats soient dus au hasard. Une p-value basse indique une forte probabilité que votre action marketing ait impacté directement votre métrique cible, alors qu'une p-value élevée indique que vos résultats sont dus à d'autres facteurs/modifications. Des valeurs inférieures à 0,05 indique que votre action mesurée a eu un impact signifiant .

• P-value 0,01

  • Une p-value de 0,01 indique 1 % de probabilité que l'effet observé soit du au hasard. Dans un tel cas, il est évident que votre action marketing a eu un impact significatif.

• P-value 0,2

  • Une p-value de 0,2 indique un 20 % de probabilité que l'effet observé soit dû des fluctuations aléatoires plutôt qu'à votre action marketing. Elle suggère que votre action marketing a pu avoir un impact, mais la preuve n'est pas assez formelle pour que vous puissiez en être certain sans données ou analyses supplémentaires.

• P-value 0,5

  • Une p-value de 0,5 indique une probabilité de 50 % que les effets observés soient dus au hasard ; elle ne prouve donc pas que votre action marketing a eu un impact signifiant que la métrique cible.

Résultats attendus et réels

L'écran de résultat vous permet d'analyser les résultats de Tout le trafic et du trafic organique . Vous pouvez alterner ces deux vues en sélectionnant les onglets Tout et Organique.

L'écran de résultats affiche les informations suivantes :

• Résultat du test : si l'action marketing a eu un impact Positif , Mitigé ou Négatif sur votre compagne.
• Action : L'action marketing que vous avez sélectionnée pour le test.
• Métrique : La métrique que vous avez choisi de mesurer.
• Effet incrémental : La différence entre ce qui a été prédit par InSight et ce qu'il s'est passé réellement dans votre période de mesure sélectionnée.
• MAPE : La valeur Erreur de pourcentage absolu moyen.
• Modèle de performance : renseigne sur la fiabilité du modèle.
• P-value : P-value de votre action.
• Signifiance de l'action : si le changement se trouvait dans la plage de prédictions de InSight (représentée par la zone violette du graphique).
  • Si les résultats réels se trouvent dans la plage de prédictions, le résultat est insignifiant.
  • Si le résultat se trouve hors de la plage de prédictions, le résultat est signifiant.

Adjust calcule le Résultat d'un test en mesurant l'impact que votre action marketing a eu sur votre métrique cible pour tout le trafic et pour le trafic organique . La table ci-dessous indique comment chaque résultat est calculé.

Perspectives exploitables

Pour vous aider à comprendre les résultats du test, Adjust propose des perspectives exploitables . Pour chaque test, Adjust affiche des Détails sur ce qu'il s'est passé lorsque vous avez lancé vos actions marketing pour vous aider à interpréter les résultats du test, ainsi que des Recommandations pratiques sur ce que vous pouvez faire en fonction des résultats du test.

Par exemple, vous venez de terminer un test InSight pour évaluer l'impact de votre campagne nouvellement lancée et pour déterminer si elle a permis d'atteindre le levier incrémental souhaité dans l'ensemble du traffic et le trafic organique.

Depuis votre test Insight, vous pouvez afficher des informations détaillées sur ce qu'il s'est passé lorsque vous avez exécuté vos actions marketing. Par exemple, vous pouvez accéder à l'effet de levier incrémental de la campagne et déterminer si les installations de tout le trafic et du trafic organique ont augmenté ou baissé, ou si vous remarquez une cannibalisation organique . Ces détails aident à évaluer l'efficacité de votre campagne.

En outre, Adjust propose des recommandations adaptées aux résultats de test. Si votre campagne a entraîné une hausse importante des installations dans tout le trafic , mais également une cannibalisation organique , Adjust peut vous suggérer d'augmenter votre budget pour cette campagne en réduisant simultanément vos fenêtres d'attribution.En combinant les résultats détaillés avec des recommandations exploitables, Adjust vous donne les moyens de prendre des décisions avisées et d'affiner votre stratégies marketing.

Données avancées

La section Données avancées présente la répartition des métriques clés associées à votre test InSight. Pour tout le trafic et le trafic organique , vous pouvez sélectionner l'icône + (plus) pour afficher les valeurs de chaque métrique Avant et Après que vous ayez pris l'action marketing sélectionnée, afin de d'en déterminer l'impact exact sur votre campagne. Ces différences sont synthétisées dans la ligne Différences située sous chaque type de trafic.

Pour chaque test, InSight affiche le récapitulatif de l' effet de levier (incrémental) que votre action marketing a eu sur votre métrique cible pendant la période de test. Notamment à travers les métriques suivantes :

• Valeur absolue de l'effet incrémental : la différence entre ce qui a été prédit par InSight et ce qu'il s'est passé réellement dans votre période de mesure sélectionnée.
• Pourcentage de l'effet incrémental : la différence entre ce qui a été prédit par InSight et ce qu'il s'est passé réellement dans votre période de mesure sélectionnée, exprimé sous la forme d'un pourcentage.

Les métriques suivantes spéciques à InSight sont également disponibles dans Datascape et dans l'API Report Service. Consultez Métriques Datascape pour plus d'informations.

Interpréter vos résultats

Lorsque vous avez exécuté un test d'incrémentalité InSight et que son statut est Terminé , vous pouvez en consulter les résultats.