解读 InSight 测试结果

测试运行结束后，您可以前往 InSight 结果页面查看营销操作对目标指标的影响。InSight 结果页面会显示以下测试相关信息：

• 结果概览。
• 提供实用洞见，帮助您解读测试结果并为后续工作提供建议。
• 关键指标细分。

术语表

InSight 结果页面和本文档使用以下术语来描述测试结果。

增量提升

您的推广活动对目标变量产生了积极的影响，若无此推广活动则不会产生该效果。

损失

您的推广活动对目标变量产生了消极的影响，若无此推广活动则不会产生该效果。

自然量的自我蚕食

未执行营销操作的情况下可能发生的事件/安装。自然量蚕食数据只有在监测 推广活动开始​ 或 预算增加​ 时才可用。

增量效果绝对值

在整个测试时段中，您的操作对指标的影响。该指标通过比较未采取行动时的指标预测值与采取行动时的实际值之间的日均差异来衡量影响。绝对值的计算公式如下：average actual value - average predicted value

增量效果百分比

您的操作对目标指标的影响 (以百分数表示)。该指标通过比较未采取行动时的指标预测值与采取行动时的实际值之间的平均每日差异来衡量影响。

MAPE

平均绝对百分比误差 (MAPE) 值衡量在前期目标指标的实际值与模型预测值之间的平均差异。两个值的差异百分比较低时说明模型准确度更高。低于 10% 时表明模型准确度 高​ ，10 - 20% 表明准确度 中等​ ，高于 20% 表明准确度 低​ 。

P 值

P 值 (概率值) 代表结果由变更引起的概率。低 P 值表明营销操作直接影响目标变量的概率较高，高 P 值则代表结果更有可能是由其他变更造成的。值小于 0.05 时说明您监测的营销操作造成了 显著​ 影响。

• P 值 0.01​

  • P 值为 0.01 时说明有 1% 的可能性观测到的结果是随机发生的。也就是说，有很强的证据表明，您的营销操作造成了显著影响。

• P 值 0.2​

  • P 值为 0.2 时代表有 20% 的概率观测到的效果由随机波动造成，而非您的营销操作。这意味着您的营销操作可能造成了影响，但证据不足以确认这一结论，因此需要更多数据或分析。

• P 值 0.5​

  • P 值为 0.5 时，有 50% 的概率观测到的结果是随机的，也就是说，没有证据表明您的营销操作对目标指标产生了任何显著影响。

实际和预测结果

在结果页面，您可以对 所有​ 流量和 自然​ 流量进行分析。选择 "全部" 和 "自然量" 标签，可在不同视图间切换。

结果界面会显示下列信息：

• 测试 结果​ ：营销活动对推广活动造成了 正面​ 、 混合​ 还是 负面​ 影响。
• 操作​ ：您为测试选择的营销操作。
• 指标​ ：您选择监测的指标。
• 增量效果​ ：在选定监测周期内，Insight 预测值与实际值之间的差异。
• MAPE​ ：平均绝对百分比误差值。
• 模型表现​ ：模型的可靠程度。
• P 值​ ：营销操作的 P 值。
• 操作显著性​ ：变化是否在 InSight 预测范围内 (由图表中的紫色区域表示)。
  • 如果实际结果位于预测范围内，说明效果不显著。
  • 如果实际结果超出预测范围，说明效果显著。

Adjust 通过监测营销活动对 所有​ 流量和 自然​ 流量目标指标的影响来计算测试 结果​ 。下表显示了每种结果的计算方法。

实用洞见

为帮助您了解测试结果，Adjust 提供大量 实用洞见​ 。针对每项测试，Adjust 会显示其 详情​ ，说明采取相应营销活动会产生怎样的影响，帮助您解读测试结果，同时还会显示 推荐做法​ ，根据测试结果为您的下一步行动提供实用建议。

例如，您刚刚完成了一项 InSight 测试，旨在评估新推广活动的影响，并确定其在所有流量和自然流量方面是否实现了预期的增量提升。

在 InSight 测试中，您可以看到营销活动执行情况的详细信息。例如，您可以评估推广活动的增量效果并确定 所有​ 安装和 自然量​ 安装是否增加或减少，或者是否发生了 自然量蚕食​ 。这些细节可以帮助您评估推广活动的效果。

此外，Adjust 还会根据测试结果提供 推荐做法​ 。如果您的推广活动带来了 总安装量​ 的显着增长，但也导致了 自然量蚕食​ ，Adjust 可能会建议您增加此推广活动的预算，同时缩短归因窗口。 Adjust 将详细的结果与可操作的建议相结合，帮助营销人员做出明智决策，有效地优化营销策略。

高级数据

高级数据​ 部分会详细显示与 InSight 测试相关的关键指标。对于 所有​ 流量和 自然​ 流量，您都可以点击加号图标来显示选定营销活动 之前​ 和 之后​ 每个指标的值，准确了解营销操作对推广活动的影响。这些变化显示在每种流量类型下方的 差异​ 行中。

对于每次测试，InSight 都会显示测试期间营销活动对目标指标的 增量影响​ 。这一点可以概括为以下几个指标：

• 增量效果绝对值​ ：在选定监测周期内，InSight 预测值与实际值之间的每日平均差异值。
• 增量效果百分比​ ：在选定监测周期内，以百分比表示的 InSight 预测值与实际值之间的每日平均差异值。

在 Datascape 和报告服务 API 中，您也可以使用下列 InSight 特有指标。请参阅Datascape 指标，了解完整的 Datascape 指标列表。

解读结果

Insight 增量测试运行完毕，状态变为 完成​ 后，您就可以查看测试结果了。