InSightのテスト結果を表示

テストが終了したら、InSight結果ページに移動して、実施したマーケティングアクションがターゲット指標にどれだけ影響を与えたかを確認できます。InSightの結果画面には、テストに関する次の情報が表示されます。

• 結果のオーバービュー。
• 結果を解釈し、次のステップへの具体的な提案を行うための活用できるインサイト。
• 主要な指標の詳細分析。

用語解説

InSightの結果画面やこのページでは、テスト結果を説明するために以下の用語が使用されています。

インクリメンタルリフト

キャンペーンを実施していなければ発生しなかったであろうプラスの効果をターゲット指標にもたらした。

損失

キャンペーンを実施していなければ発生しなかったであろうネガティブな効果をターゲット指標にもたらした。

オーガニックのカニバリゼーション（奪い合い）

マーケティングの取り組みがなくても獲得できたであろうイベント/インストール。オーガニックのトラッカーデータは、 キャンペーンの開始​ または 予算の増加​ を計測する際にのみ利用可能です。

インクリメンタル効果の絶対値

テスト期間全体を通して、アクションが指標の値に与えた影響。これは、アクションがあった場合の実際の値と、アクションがなかった場合の予測される指標値の平均的な日次差を比較することで計測されます。絶対値は、以下の式を使用して計算されます: average actual value - average predicted value。

インクリメンタル効果の割合

アクションが対象指標に与えた影響をパーセンテージで表示。これは、アクションがなかった場合の予測指標値と、アクションがあった場合の実際の値の平均日次差異を比較することで計測されます。

MAPE

平均絶対パーセンテージ誤差 (MAPE) 値は、事前期間中のターゲット指標の実際の値と、モデルによって生成された予測値との平均差を計測します。これらの値の差の割合が低いほど、モデルの精度が高いことを示します。10%を下回る場合は high​ 、10%〜20%は medium​ 、20%を超える場合は low​ を表します。

P-値

P値（確率値）は、結果が偶然によるものである確率を示します。P値が低いほど、マーケティングアクションがターゲット指標に直接影響を与えた可能性が高いことを意味し、P値が高い場合、その結果が他の要因によるものである可能性が高いことを示します。P値が0.05未満の場合、計測されたアクションが 有意な​ 影響を与えたことを示します。

• P-値 0.01​

  • P値が0.01である場合、観測された効果が偶然によるものである確率が1%であることを示します。これは、マーケティングアクションが大きな影響を与えたという強力な証拠と見なされます。

• P-値 0.2​

  • P値が0.2である場合、観測された効果がマーケティングアクションではなく、ランダムな変動によるものである確率が20%であることを示します。これは、マーケティングアクションが影響を与えた可能性はあるものの、さらなるデータや分析なしでは確信を持てるほど強力な証拠ではないことを示唆しています。

• P-値 0.5​

  • P値が0.5である場合、観測された効果が偶然によるものである確率が50%であることを示し、マーケティングアクションがターゲット指標に対して有意な影響を与えたという証拠がないことを示唆しています。

実際の結果と予測結果

結果画面では、 全て​ のトラフィックと オーガニック​ トラフィックの結果を分析できます。全ておよびオーガニックのタブを選択することで、これらのビューを切り替えることができます。

結果画面には、次の情報が表示されます。

• テスト 結果​ ：マーケティングアクションがキャンペーンに ポジティブ（Positive）​ 、 ミックス（Mixed）​ 、または ネガティブ（Negative）​ な影響を与えたかどうか。
• アクション​ ：テスト向けに選択したマーケティングアクション。
• 指標​ ：計測した指標。
• インクリメンタル効果​ ：InSightが予測したことと、選択した計測期間中に実際に起こったことの差異。
• MAPE​ ：平均絶対パーセント誤差（Mean Absolute Percentage Error）。
• モデルパフォーマンス​ ：モデルの信頼性を示す。
• P値​ ：アクションのP値。
• アクションの有意性​ ：変化がInSightの予測の範囲内であったかどうか（グラフでは紫の範囲で表示）。
  • 実際の結果が予測範囲内であれば、結果は非有意（insignificant）と表示されます。
  • 結果が予測範囲外である場合、その結果は有意（significant）と表示されます。

Adjustは、 全て​ のトラフィックと オーガニック​ トラフィックのターゲット指標に対するマーケティングアクションの影響を計測することで、テストの 結果​ を計算します。下の表は各結果がどのように計算されるかを示しています。

活用できるインサイト

Adjustは、テスト結果を理解するために役立つ 活用できるインサイト​ を提供します。各テストには、マーケティングアクションを実行した際に何が起こったかを説明する 詳細​ と、テスト結果に基づいて、次のステップに関するアドバイスを提供する 推奨事項​ が表示されます。

例えば、新しく開始したキャンペーンの影響を評価し、全体のトラフィックとオーガニックトラフィックの両方で期待されたインクリメンタルリフトが得られたかどうかを判断するために、InSightテストを完了したところです。

InSightテストから、マーケティングアクションを実行した際に何が起こったかの詳細情報を見ることができます。例えば、キャンペーンのインクリメンタル効果を評価し、 全て​ のトラフィックと オーガニック​ トラフィック経由のインストールが増加したか減少したか、または オーガニックカニバリゼーション​ が発生したかどうかを判断できます。これらの詳細は、キャンペーンの効果を評価するのに役立ちます。

さらに、Adjustはテスト結果に基づいて 推奨事項​ を提供します。キャンペーンが 全て​ のインストールを大幅に増加させ、かつ同時に オーガニックカニバリゼーション​ も引き起こした場合、Adjustはこのキャンペーンの予算を増やしつつ、アトリビューションウィンドウを短縮することを提案するかもしれません。詳細な結果と実行可能な推奨事項を組み合わせることで、Adjustは、十分な情報に基づいた意思決定を行い、効果的にマーケティング戦略を洗練するためのサポートを提供します。

アドバンストデータ

アドバンストデータ​ セクションでは、InSightテストに関連する主要な指標の内訳が表示されます。 全体​ および オーガニック​ トラフィックの両方について、プラスアイコンを選択すると、選択したマーケティングアクションを実行する 前後​ の各指標の値を表示して、マーケティングアクションがキャンペーンに与えた影響を正確に確認できます。これらの違いは、各トラフィックタイプの下にある 差異​ の行に要約されています。

各テストにおいて、InSightはテスト期間中にマーケティングアクションがターゲット指標に与えた インクリメンタル効果​ の概要を表示します。これは次の指標に要約されています：

• インクリメンタル効果の絶対値（Incremental effect absolute value）​ ：選択した計測期間において、InSightが予測したことと実際に起こったことの1日の平均差。
• インクリメンタル効果の割合（Incremental effect percentage）​ ：InSightが予測した内容と、選択した計測期間中に実際に起きたことの1日あたりの平均差をパーセンテージで示したもの。

次のInSight固有の指標もDatascapeおよびレポートサービスAPIで利用可能です。Datascape指標 の全リストをご参照ください。

結果を解釈する

InSightインクリメンタリティテストを実行し、そのステータスが 完了済み（Completed）​ に更新されたら、テストの結果を確認できます。