InSightのテスト結果を表示

テストが終了したら、テスト一覧のページでテストをクリックすると、テストの結果ページが表示されます。結果ページには、マーケティングアクションがターゲットに与えた影響に関する指標と、テストに関する以下の情報が表示されます。

• 結果の概要。
• 結果や次のステップに向けた推奨事項についてのインサイト。
• 主要な指標の詳細分析。

Adjustは、テスト結果を理解するために役立つ インサイト​ を提供します。各テストには、マーケティングアクションを実行した際に何が起こったかを説明する 詳細​ と、テスト結果に基づいて、次のステップに関するアドバイスを提供する 推奨事項​ が表示されます。

例えば、新しく開始したキャンペーンの影響を評価し、全体のトラフィックとオーガニックトラフィックの両方で期待されたインクリメンタルリフトが得られたかどうかを判断するために、InSightテストを完了したところです。

InSightテストから、マーケティングアクションを実行した際に何が起こったかの詳細情報を見ることができます。例えば、キャンペーンのインクリメンタル効果を評価し、 全て​ のトラフィックと オーガニック​ トラフィック経由のインストールが増加したか減少したか、または オーガニックカニバリゼーション​ が発生したかどうかを判断できます。これらの詳細は、キャンペーンの効果を評価するのに役立ちます。

さらに、Adjustはテスト結果に基づいて 推奨事項​ を提供します。キャンペーンが 全て​ のインストールを大幅に増加させ、かつ同時に オーガニックカニバリゼーション​ も引き起こした場合、Adjustはこのキャンペーンの予算を増やしつつ、アトリビューションウィンドウを短縮することを提案するかもしれません。詳細な結果と実行可能な推奨事項を組み合わせることで、Adjustは、十分な情報に基づいた意思決定を行い、効果的にマーケティング戦略を洗練するためのサポートを提供します。

用語解説

テスト結果を説明するために、以下の用語が使用されています。

インクリメンタルリフト

：キャンペーンを実施していなければ発生しなかったであろうプラスの効果をターゲット指標にもたらした。

損失

：キャンペーンを実施していなければ発生しなかったであろうネガティブな効果をターゲット指標にもたらした。

オーガニックのカニバリゼーション（奪い合い）

：マーケティングの取り組みがなくても獲得できたであろうイベント/インストール。オーガニックのトラッカーデータは、 キャンペーンの開始​ または 予算の増加​ を計測する際にのみ利用可能です。

インクリメンタル効果の絶対値

テスト期間全体を通して、アクションが指標の値に与えた影響。これは、アクションがあった場合の実際の値と、アクションがなかった場合の予測される指標値の平均的な日次差を比較することで計測されます。絶対値は、以下の式を使用して計算されます: average actual value - average predicted value。

インクリメンタル効果の割合

：アクションが対象指標に与えた影響をパーセンテージで表示。これは、アクションがなかった場合の予測指標値と、アクションがあった場合の実際の値の平均日次差異を比較することで計測されます。

MAPE（平均絶対パーセント誤差）（モデルパフォーマンス）

平均絶対パーセンテージ誤差 (MAPE) 値は、事前期間中のターゲット指標の実際の値と、モデルによって生成された予測値との平均差を計測します。これらの値の差の割合が低いほど、モデルの精度が高いことを示します。10%を下回る場合は high​ 、10%〜20%は medium​ 、20%を超える場合は low​ を表します。

P値（有意）

P値（確率値）は、結果が偶然によるものである確率を示します。P値が低いほど、マーケティングアクションがターゲット指標に直接影響を与えた可能性が高いことを意味し、P値が高い場合、その結果が他の要因によるものである可能性が高いことを示します。P値が0.05未満の場合、計測されたアクションが 有意な​ 影響を与えたことを示します。

• P-値 0.01​

  • P値が0.01である場合、観測された効果が偶然によるものである確率が1%であることを示します。これは、マーケティングアクションが大きな影響を与えたという強力な証拠と見なされます。

• P-値 0.2​

  • P値が0.2である場合、観測された効果がマーケティングアクションではなく、ランダムな変動によるものである確率が20%であることを示します。これは、マーケティングアクションが影響を与えた可能性はあるものの、さらなるデータや分析なしでは確信を持てるほど強力な証拠ではないことを示唆しています。

• P-値 0.5​

  • P値が0.5である場合、観測された効果が偶然によるものである確率が50%であることを示し、マーケティングアクションがターゲット指標に対して有意な影響を与えたという証拠がないことを示唆しています。

実用的なインサイト

結果画面では、 全て​ のインストールおよび オーガニック​ インストールの結果を分析できます。インクリメンタリティテストのあらゆる側面を可視化する5つのセクションを通じて、意思決定に役立つインサイトを提供します。

アプリバー

• インクリメンタリティテストの主要なポイントを特定します。
  • アクション（Action）：テストに選択されたマーケティングアクション
  • キャンペーン（Campaign）：キャンペーンテストに選択されたキャンペーンの名前
  • 国（Country）：テストが実施された国
  • チャネル（Channel）：テストに選択されたチャネル
  • アクション後（After action）：インクリメンタル分析が実施された期間
  • 指標（Metric）：計測に選択した指標
  • パフォーマンス（Performance）：モデルの信頼性
  • 有意性（Significance）：その変化が予測された範囲内かどうかを示す
    • 実際の結果が予測範囲内であれば、結果は非有意（insignificant）と表示されます。
    • 結果が予測範囲外である場合、その結果は有意（significant）と表示されます。

アクションレスポンス

• テスト 結果​ ：マーケティングアクションがキャンペーンに ポジティブ（Positive）​ 、 混合（Mixed）​ 、または ネガティブ（Negative）​ な影響を与えたかどうか。
• アクションとその影響に関する詳細
• テスト結果を基に次のステップに進む際の推奨事項

Adjust は、テストの結果を算出する際に、全てのトラフィックおよびオーガニックトラフィックに対して、マーケティングアクションがターゲット指標に与えた影響を計測します。各結果がどのように計算されるかは、以下の表をご覧ください。

インクリメンタル効果

• 上部の2つのチャートは、全てのインストールおよびオーガニックインストールにおける、1日あたりの平均インクリメンタル効果を示しており、パーセンテージと絶対値の両方で表示されます。
  • グラフには、1日平均の実測値（実線）と予測値（点線）の比較が表示されます。

各テストにおいて、InSightはテスト期間中にマーケティングアクションがターゲット指標に与えた インクリメンタル効果​ の概要を表示します。これは次の指標に要約されています：

次のInSight固有の指標もDatascapeおよびレポートサービスAPIで利用可能です。Datascape指標 の全リストをご参照ください。

インクリメンタル効果の推移

• アクションの影響を受けた全てのインストール

• アクションの影響を受けたオーガニックインストール

• アクション前後の結果を示すグラフ

  • アクション実施後の結果では、予測範囲と、その範囲内に実測値および予測インストール数がどのように分布しているかが示されます。

• 「アクション後のみを表示（Only show after the action）」を選択すると、ビューが切り替わり、アクション後のデータポイントのみを表示できます。

アドバンスデータ

アドバンスデータ​ セクションでは、InSightテストに関連する主要な指標の内訳が表示されます。 全体​ および オーガニック​ トラフィックの両方について、プラスアイコンを選択すると、選択したマーケティングアクションを実行する 前後​ の各指標の値を表示して、マーケティングアクションがキャンペーンに与えた影響を正確に確認できます。

アクションがキャンペーンである場合、以下の指標に応じてキャンペーン単位での詳細なデータが表示されます。

1. インストール（アトリビューション）
2. インストール（SKAN）
3. インストール単価（全て）
4. 合計セッション数
5. 広告費用