Insight 结果页面

Insight 增量测试运行完毕，状态变为 完成​ 后，您就可以查看测试结果了。

测试结果术语表

以下术语用于描述 Insight 增量测试的结果。

术语含义
增量提升您的推广活动对目标变量产生了积极的影响，若无此推广活动则不会产生该效果。
损失您的推广活动对目标变量产生了消极的影响，若无此推广活动则不会产生该效果。
自然量的自我蚕食未执行营销举措的情况下可能发生的事件/安装。自然量蚕食数据只有在监测 推广活动开始或预算增加时才会产生。
增量效果绝对值在整个测试时段中，您的操作对指标的影响。 该指标通过比较未采取行动时的指标预测值与采取行动时的实际值之间的平均每日差异来衡量影响。

绝对值的计算公式如下：average actual value - average predicted value
增量效果百分比您的操作对指标的影响 (以百分数表示)。该指标通过比较未采取行动时的指标预测值与采取行动时的实际值之间的平均每日差异来衡量影响。
P 值P 值有助于判断您的操作对营销结果是否具有数据显著性影响。该值低于 0.05 表明操作具有 显著影响。该值高于 0.05 表明操作无显著影响。
MAPE平均绝对百分比误差 (MAPE) 值可衡量模型的表现。 该值越低预测越准确。 值低于 10% 时表明模型准确度 高，10 - 20% 表明准确度中等，高于 20% 表明准确度较低。

结果界面

查看结果界面，您可以对所有流量和自然量进行分析。选择 "全部" 和 "自然量" 标签，可在不同视图间切换。

结果界面会显示下列信息：

  • 您为测试选择的 操作​ 。
  • 您选择的要监测的 指标​ 。
  • 增量效果​ 百分比。
  • 模型表现​ ，指示模型的可靠程度。

高级数据

结果界面中还包含 高级​ 数据部分，其中详细展示了监测时段内发生的事件。 在这一部分，您可以看到所选指标的下列 结果​ ：

  • 增量效应​ ：在选定监测周期内，Insight 预测与实际预测之间的差异。 效果 显著性​ ：变化是否在 Insight 预测范围内 (由图表中的紫色区域表示)。
    • 如果 实际​ 结果位于预测范围内，说明效果 不显著​ 。
    • 如果实际结果超出预测范围，说明效果 显著​ 。

预期成果

在下方表格中，我们用示例说明了每种营销举措可能带来的结果。

营销操作积极成果需要进一步测试的结果
  • 开始新推广活动或创建新渠道。
  • 增加推广活动或渠道预算。
所有流量：
  • 增量提升 (显著)：营销举措吸引了更多新用户。
自然量：
  • 增量提升 (显著)：营销举措吸引了更多自然流量。
  • 增量提升 (不显著)：营销举措未能显著增加自然流量。
自然量：
  • 蚕食 (显著)：营销举措吸引了原本会自然下载应用的用户。
  • 蚕食 (不显著)：营销举措并未对自然量造成明显蚕食。
  • 停止现有推广活动或停用现有渠道。
  • 减少推广活动或渠道预算。
自然量：
  • 提升 (显著)：营销活动减少了自然流量被蚕食的情况。
  • 提升 (不显著)：自然目标变量受到了积极影响，但无法准确认定该影响是否由营销活动直接推动。
  • 损失 ( 显著 )：自然流量和所有目标均呈现下降趋势，所测试的营销活动与这两个目标正相关。
  • 损失 (不显著)：两个目标变量都受到了负面影响，但无法准确认定该影响是否由营销活动直接造成。

示例

在本示例中，Insight 增量测试针对 渠道 A​ 在 巴西​ 的所有推广活动，目的是监测 预算提升​ 举措对 安装量​ 的影响。测试结果如下：

  • 渠道 A​ 预算增加后出现了增量提升，但效果并不显著。
  • 渠道 A​ 预算增加显著加重了自然安装流量蚕食问题。

从分析结果可以看出，增加预算对应用安装量并没有产生显著的增量效果。客户可以尝试针对不同的营销举措 (如 减少​ 预算)，再进行一次测试，以加深对预算变更效果的理解。