Interpréter vos résultats de test InSight
Lorsque l'exécution de votre test est terminée, vous pouvez accéder à la page de résultats en cliquant sur le test de votre choix dans la page qui les répertorie. La page de résultats présente l'impact qu'a eu votre action marketing sur votre métrique cible et affiche les informations suivantes sur votre test :
- Une synthèse des résultats.
- Des perspectives pour vous aider à interpréter vos résultats et des recommandations pour les étapes suivantes.
- Une répartition granulaire des métriques clés.
Pour vous aider à comprendre les résultats du test, Adjust propose des perspectives exploitables . Pour chaque test, Adjust affiche des Détails sur l'impact de votre action marketing afin de vous aider à interpréter les résultats du test, ainsi que des Recommandations pratiques sur ce que vous pouvez faire en fonction des résultats du test.
Par exemple, vous venez de terminer un test InSight pour évaluer l'impact de votre campagne nouvellement lancée et pour déterminer si elle a permis d'atteindre le levier incrémental souhaité dans l'ensemble du traffic et le trafic organique.
Depuis votre test InSight, vous pouvez afficher des informations détaillées sur ce qu'il s'est passé lorsque vous avez exécuté vos actions marketing. Par exemple, vous pouvez accéder à l'effet de levier incrémental de la campagne et déterminer si les installations de tout le trafic et du trafic organique ont augmenté ou baissé, ou si vous remarquez une cannibalisation organique . Ces détails aident à évaluer l'efficacité de vos campagnes.
En outre, Adjust propose des recommandations adaptées aux résultats de test. Si votre campagne a entraîné une hausse importante des installations dans tout le trafic , mais également une cannibalisation organique , Adjust peut vous suggérer d'augmenter votre budget pour cette campagne en réduisant simultanément vos fenêtres d'attribution.En combinant les résultats détaillés avec des recommandations exploitables, Adjust vous donne les moyens de prendre des décisions avisées et d'affiner votre stratégies marketing.
Glossaire
Les termes suivants sont utilisés dans la page de résultats :
Levier incrémental : Votre campagne a eu un effet positif sur votre métrique cible ; l'effet ne se serait pas produit sans l'exécution de la campagne.
Perte : Votre campagne a eu un effet négatif sur votre métrique cible ; l'effet ne se serait pas produit sans l'exécution de la campagne.
Cannibalisation organique : Les événements/installations qui se seraient produits si l'action marketing n'avait pas été réalisée. Les données de cannibalisation organique sont disponibles uniquement lors de la mesure du Début de campagne ou de l 'Augmentation de budget .
Valeur absolue de l'effet incrémental : L'effet qu'a eu l'action sur la valeur de la métrique sur toute la durée du test. Il est mesuré en comparant la différence quotidienne moyenne entre la valeur réelle avec l'action et la valeur de métrique prédite moyenne sans l'action. La valeur absolue est calculée à l'aide de la formule suivante : average actual value - average predicted value.
Pourcentage de l'effet incrémental : L'effet qu'a eu l'action sur la métrique sous la forme d'un pourcentage. Il est mesuré en comparant la différence quotidienne moyenne entre la valeur de métrique prévue sans l'action et la valeur actuelle avec l'action.
MAPE(Performance du modèle) : La valeur d'erreur de pourcentage absolu moyen (MAPE) mesure la différence moyenne entre les valeurs réelles de votre métrique cible pendant la période antérieure et les valeurs prédites produites par le modèle. Un pourcentage de différence bas entre ces valeurs indique un modèle plus précis. Une valeur inférieure à 10 % est considérée élevée , entre 10 et 20 % = moyenne et supérieure à 20 % = faible .
P-value(Signifiance) : La p-value (valeur de probabilité) représente la probabilité que vos résultats soient dus au hasard. Une p-value basse indique une forte probabilité que votre action marketing ait impacté directement votre métrique cible, alors qu'une p-value élevée indique que vos résultats sont dus à d'autres facteurs/modifications. Des valeurs inférieures à 0,05 indique que votre action mesurée a eu un impact signifiant .
P-value 0,01
- Une p-value de 0,01 indique 1 % de probabilité que l'effet observé soit du au hasard. Dans un tel cas, il est évident que votre action marketing a eu un impact significatif.
P-value 0,2
- Une p-value de 0,2 indique un 20 % de probabilité que l'effet observé soit dû des fluctuations aléatoires plutôt qu'à votre action marketing. Elle suggère que votre action marketing a pu avoir un impact, mais la preuve n'est pas assez formelle pour que vous puissiez en être certain sans données ou analyses supplémentaires.
P-value 0,5
- Une p-value de 0,5 indique une probabilité de 50 % que les effets observés soient dus au hasard ; elle ne prouve donc pas que votre action marketing a eu un impact signifiant que la métrique cible.
Perspectives exploitables
La page de résultats vous permet d'analyser les résultats de toutes les installations et des installations organiques à travers cinq sections, afin de mettre en avant tous les aspects de vos tests d'incrémentalité et de vous donner des perspectives exploitables.
Barre de l'application
- Identifie les aspects essentiels de votre test d'incrémentalité.
- Action : L'action marketing que vous avez sélectionnée pour le test.
- Campagne : Le nom de la campagne sélectionnée pour le test.
- Pays : Le pays pour lequel le test a été exécuté.
- Canal : Le canal sélectionné pour le test.
- Après l'action : La durée pendant laquelle l'incrémentalité a été analysée.
- Métrique : La métrique que vous avez choisi de mesurer.
- Modèle de performance : Renseigne sur la fiabilité du modèle.
- Signifiance : Où se situe la modification dans la plage prédite.
- Si les résultats réels se trouvent dans la plage de prédictions, le résultat est insignifiant.
- Si le résultat se trouve hors de la plage de prédictions, le résultat est signifiant.
Réponse d'action
- Résultat du test : si l'action marketing a eu un impact Positif , Mitigé ou Négatif sur votre compagne.
- Détails concernant votre action et son impact.
- Conseils pour les prochaines étapes à suivre en fonction des résultats de test.
Adjust calcule le Résultat d'un test en mesurant l'impact que votre action marketing a eu sur votre métrique cible pour tout le trafic et pour le trafic organique. La table ci-dessous indique comment chaque résultat est calculé.
| Action marketing | Impact sur la métrique pour tout le trafic | Impact sur la métrique pour le trafic Organique | Résultat InSight |
|---|---|---|---|
| Début de campagne | Hausse | Hausse | Positif |
| Début de campagne | Hausse | Perte | Mixte |
| Début de campagne | Perte | Hausse | Mixte |
| Début de campagne | Perte | Perte | Négatif |
| Hausse de budget | Hausse | Hausse | Positif |
| Hausse de budget | Hausse | Perte | Mixte |
| Hausse de budget | Perte | Hausse | Mixte |
| Hausse de budget | Perte | Perte | Mixte |
| Arrêt de campagne | Hausse | Hausse | Mixte |
| Arrêt de campagne | Hausse | Perte | Mixte |
| Arrêt de campagne | Perte | Hausse | Mixte |
| Arrêt de campagne | Perte | Perte | Positif |
| Baisse de budget | Hausse | Hausse | Négatif |
| Baisse de budget | Hausse | Perte | Mixte |
| Baisse de budget | Perte | Hausse | Mixte |
| Baisse de budget | Perte | Perte | Positif |
Effect incrémental
- Les deux graphiques présentent l'impact incrémentiel moyen par jour, exprimé sous la forme d'un pourcentage et d'une valeur absolue pour toutes les installations et les installations organiques.
- Le graphique affiche une comparaison des valeurs moyennes réelles (ligne continue) et prédites (ligne pointillée) par jour.
Pour chaque test, InSight affiche le récapitulatif de l' effet de levier (incrémental) que votre action marketing a eu sur votre métrique cible pendant la période de test. Notamment à travers les métriques suivantes :
Les métriques suivantes spéciques à InSight sont également disponibles dans Datascape et dans l'API Report Service. Consultez Métriques Datascape pour plus d'informations.
| Définition | Formule | ID API métrique | |
|---|---|---|---|
| Revenus par événement moyens | Revenus moyens générés pour l'événement sélectionné par les utilisateurs ayant installé votre application dans la période sélectionnée | Total des revenus / nombre de déclenchements de l'événement | average_revenue_per_event |
| Revenus incrémentiels | Revenus supplémentaires générés générés par la comparaison avec un groupe de contrôle | Valeur incrémentale réelle - valeur incrémentale moyenne) * Revenus moyens par événement | incremental_revenue |
| ROAS incrémentiel | Retour sur les dépenses publicitaires (ROAS), calculé uniquement à l'aide des revenus in-app, sur une période de cohorte sélectionnée | - | incremental_roas |
Effet incrémental dans le temps
Toutes les installations avec l'impact de l'action.
Installations organiques avec l'impact de l'action.
Graphique présentant les résultats avant et après l'action.
- Les résultats après l'action mettent en avant la plage de prédiction et où les valeurs réelles et prédites se situent.
Remarque : vous pouvez choisir « Afficher uniquement les résultats après l'action » pour isoler les points de données de votre choix.
Données avancées
La section Données avancées présente la répartition des métriques clés associées à votre test InSight. Pour tout le trafic et le trafic organique , vous pouvez sélectionner l'icône + (plus) pour afficher les valeurs de chaque métrique Avant et Après que vous ayez pris l'action marketing sélectionnée, afin de d'en déterminer l'impact exact sur votre campagne.
Si votre action est une campagne, la granularité s'applique au niveau des campagnes, avec les métriques suivantes applicables :
- Installations (attribution)
- Installs (SKAN)
- CPI (tout)
- Total des sessions
- Dépenses publicitaires