InSightの結果を表示
テストが終了したら結果ページを開き、選択したターゲット指標に対するマーケティング活動の計測可能な影響を確認します。以下の項目を確認できます。
- 結果の概要： テストパフォーマンスの明確な評価
- インサイトと推奨： 結果の解釈と次の手順を決定するためのガイド
- 指標の内訳： 重要なパフォーマンス指標の詳細を表示
結果の解釈方法
Adjustが提供する実用的なインサイトで、テスト中に何が起き、次に何をすべきかを理解できます。
結果ページでは、すべてのインストールとオーガニックインストールの両方のパフォーマンスを分析して、増分の影響を全て表示します。結果は以下のセクションに集約されます。
- マーケティングアクションのインクリメンタル効果
- 全て のインストールと オーガニック インストールの変化を比較
- オーガニック成長は推進されたか、カニバリゼーションはあったか
- 結果の統計的有意性が高い
- 将来のキャンペーンへの実際的な影響
例
新しいキャンペーンの効果を計測するため、InSightのテストを完了しました。この結果に基づいてAdjustはカスタマイズされた推奨事項を提供し、最適化を支援します。
キャンペーンで全てのインストールが大幅に増加したものの、オーガニックカニバリゼーションが発生した場合、Adjustは以下の対応を推奨します。
- キャンペーン予算を増額し、収益をさらに増やす
- アトリビューション期間を短縮して奪い合いを減らす
Adjustによる明確な結果と具体的な推奨を組み合わせることで、より迅速で自信を持った意思決定を行い、マーケティング戦略を継続的に改善できるようになります。
アプリバー
- インクリメンタリティテストの主要なポイントを特定します。
- アクション（Action）：テストに選択されたマーケティングアクション
- キャンペーン（Campaign）：キャンペーンテストに選択されたキャンペーンの名前
- 国（Country）：テストが実施された国
- チャネル（Channel）：テストに選択されたチャネル
- アクション後（After action）：インクリメンタル分析が実施された期間
- 指標（Metric）：計測に選択した指標
- パフォーマンス（Performance）：モデルの信頼性
- 有意性（Significance）：その変化が予測された範囲内かどうかを示す
- 実際の結果が予測範囲内であれば、結果は非有意（insignificant）と表示されます。
- 結果が予測範囲外である場合、その結果は有意（significant）と表示されます。
アクションレスポンス
- テスト 結果 ：マーケティングアクションがキャンペーンに ポジティブ（Positive） 、 混合（Mixed） 、または ネガティブ（Negative） な影響を与えたかどうか。
- アクションとその影響に関する詳細
- テスト結果を基に次のステップに進む際の推奨事項
Adjust は、テストの結果を算出する際に、全てのトラフィックおよびオーガニックトラフィックに対して、マーケティングアクションがターゲット指標に与えた影響を計測します。各結果がどのように計算されるかは、以下の表をご覧ください。
| マーケティングアクション | 全てのトラフィックに対する影響 | オーガニックトラフィックに対する影響 | InSightの結果 |
|---|---|---|---|
| キャンペーン開始 | リフト | リフト | ポジティブ |
| キャンペーン開始 | リフト | 損失 | 混合 |
| キャンペーン開始 | 損失 | リフト | 混合 |
| キャンペーン開始 | 損失 | 損失 | ネガティブ |
| 予算を増加 | リフト | リフト | ポジティブ |
| 予算を増加 | リフト | 損失 | 混合 |
| 予算を増加 | 損失 | リフト | 混合 |
| 予算を増加 | 損失 | 損失 | 混合 |
| キャンペーンを停止 | リフト | リフト | 混合 |
| キャンペーンを停止 | リフト | 損失 | 混合 |
| キャンペーンを停止 | 損失 | リフト | 混合 |
| キャンペーンを停止 | 損失 | 損失 | ポジティブ |
| 予算を減少 | リフト | リフト | ネガティブ |
| 予算を減少 | リフト | 損失 | 混合 |
| 予算を減少 | 損失 | リフト | 混合 |
| 予算を減少 | 損失 | 損失 | ポジティブ |
結果の概要
InSightは各テストで、テスト期間中にマーケティング活動がターゲット指標に与えた インクリメンタル効果 の概要を表示します。上部の2つのグラフは、全てのインストールおよびオーガニックインストールにおける、1日あたりの増分による影響の平均で、パーセンテージと絶対値の両方で示されます。グラフには、1日平均の実測値（実線）と予測値（点線）の比較が表示されます。
InSightレポートで利用可能な具体的な指標は以下のとおりです。
| 定義 | 計算式 | 指標API ID | |
|---|---|---|---|
| イベントあたりの平均収益 | 選択した期間内にアプリをインストールしたユーザーから、選択したイベントごとに生成された平均収益 | Total revenue of event / number of times the event was triggered | average_revenue_per_event |
| インクリメンタル収益 | 対照グループと比較して生成された追加収益 | (Actual incremental value - mean incremental value) * Average revenue per event | incremental_revenue |
| インクリメンタルROAS | 選択したコホート期間における、アプリ内収益のみを使用して計算した広告費用回収率（ROAS） | - | incremental_roas |
全リストについては、Datascape指標をご覧ください。
インクリメンタル効果の推移
アクションの影響を受けた全てのインストール
アクションの影響を受けたオーガニックインストール
アクション前後の結果を示すグラフ
- アクション実施後の結果では、予測範囲と、その範囲内に実測値および予測インストール数がどのように分布しているかが示されます。
「アクション後のみを表示（Only show after the action）」を選択すると、ビューが切り替わり、アクション後のデータポイントのみを表示できます。
アドバンスデータ
アドバンスデータ セクションでは、InSightテストに関連する主要な指標の内訳が表示されます。 全体 および オーガニック トラフィックの両方について、プラスアイコンを選択すると、選択したマーケティングアクションを実行する 前後 の各指標の値を表示して、マーケティングアクションがキャンペーンに与えた影響を正確に確認できます。
アクションがキャンペーンである場合、以下の指標に応じてキャンペーン単位での詳細なデータが表示されます。
- インストール（アトリビューション）
- インストール（SKAN）
- インストール単価（全て）
- 合計セッション数
- 広告費用
用語解説
テスト結果を説明するために、以下の用語が使用されています。
インクリメンタルリフト
：キャンペーンを実施していなければ発生しなかったであろうプラスの効果をターゲット指標にもたらした。
損失
：キャンペーンを実施していなければ発生しなかったであろうネガティブな効果をターゲット指標にもたらした。
オーガニックのカニバリゼーション（奪い合い）
：マーケティングの取り組みがなくても獲得できたであろうイベント/インストール。オーガニックのトラッカーデータは、 キャンペーンの開始 または 予算の増加 を計測する際にのみ利用可能です。
インクリメンタル効果の絶対値
テスト期間全体を通して、アクションが指標の値に与えた影響。これは、アクションがあった場合の実際の値と、アクションがなかった場合の予測される指標値の平均的な日次差を比較することで計測されます。絶対値は、以下の式を使用して計算されます: average actual value - average predicted value。
インクリメンタル効果の割合
：アクションが対象指標に与えた影響をパーセンテージで表示。これは、アクションがなかった場合の予測指標値と、アクションがあった場合の実際の値の平均日次差異を比較することで計測されます。
- MAPE（平均絶対パーセント誤差）（モデルパフォーマンス）
- 平均絶対パーセンテージ誤差 (MAPE) 値は、事前期間中のターゲット指標の実際の値と、モデルによって生成された予測値との平均差を計測します。これらの値の差の割合が低いほど、モデルの精度が高いことを示します。10%を下回る場合は high 、10%〜20%は medium 、20%を超える場合は low を表します。
- P値（有意）
- P値（確率値）は、結果が偶然によるものである確率を示します。P値が低いほど、マーケティングアクションがターゲット指標に直接影響を与えた可能性が高いことを意味し、P値が高い場合、その結果が他の要因によるものである可能性が高いことを示します。P値が0.05未満の場合、計測されたアクションが 有意な 影響を与えたことを示します。
P-値 0.01
- P値が0.01である場合、観測された効果が偶然によるものである確率が1%であることを示します。これは、マーケティングアクションが大きな影響を与えたという強力な証拠と見なされます。
P-値 0.2
- P値が0.2である場合、観測された効果がマーケティングアクションではなく、ランダムな変動によるものである確率が20%であることを示します。これは、マーケティングアクションが影響を与えた可能性はあるものの、さらなるデータや分析なしでは確信を持てるほど強力な証拠ではないことを示唆しています。
P-値 0.5
- P値が0.5である場合、観測された効果が偶然によるものである確率が50%であることを示し、マーケティングアクションがターゲット指標に対して有意な影響を与えたという証拠がないことを示唆しています。