InSight 테스트 결과 해석

테스트 실행이 완료되면, 전체 테스트 목록 페이지에서 해당 테스트를 클릭하여 결과 페이지로 이동할 수 있습니다. 결과 페이지는 마케팅 활동이 타겟 지표에 미치는 영향과 테스트에 대한 다음의 정보를 표시합니다.

• 테스트 결과 요약
• 결과를 해석하는 데 도움이 되는 인사이트 및 다음 단계에 대한 권장 사항
• 주요 지표의 세분화된 분석

테스트 결과를 더 잘 이해할 수 있도록 Adjust는 실행 가능한 인사이트 을 제공합니다. 각 테스트에 대해 Adjust는 마케팅 활동의 영향에 대한 세부 정보 를 제공하여 테스트 결과를 해석하는데 도움을 주며, 결과를 기반으로 다음에 수행할 작업에 대한 실질적인 조언이 담긴 권장 사항 도 함께 제공합니다.

예를 들어 InSight 테스트를 완료하여 새로 론칭된 캠페인의 효과를 평가하고, 전체 캠페인과 오가명 모두에서 원하는 incremental 리프트를 달성했는지 확인할 수 있습니다.

InSight 테스트를 통해 마케팅 활동을 실행했을 때 어떤 일 발생했는지에 대한 자세한 정보를 확인할 수 있습니다. 예를 들면 캠페인의 증분 효과를 평가하고, 총 설치와 오가닉 설치가 증가했는지 감소했는지, 또는 오가닉 잠식 이 발생했는지를 확인할 수 있습니다. 이러한 세부 정보는 캠페인의 효과를 평가하는 데 도움이 됩니다.

또한 Adjust는 테스트 결과에 기반한 Recommendations 을 제공합니다. 캠페인이 모든 설치 수는 크게 증가했으나 오가닉 카니발리제이션 을 초래한 경우, Adjust는 어트리뷰션 윈도우를 단축함과 동시에 예산을 늘리는 것을 제안할 수 있습니다. Adjust는 상세한 결과와 실용적인 권장 사항을 결합하여, 고객사가 정확한 정보에 기반한 결정을 내리고 효과적으로 마케팅 전략을 구체화할 수 있도록 지원합니다.

용어집

결과 페이지에서는 테스트 결과를 설명하기 위해 다음의 용어를 사용합니다.

Incremental 리프트

캠페인을 실행하지 않았다면 발생하지 않았을 목표 지표에 발생한 긍정적인 효과.

손실

캠페인을 실행하지 않았다면 발생하지 않았을 목표 지표에 발생한 부정적인 효과.

오가닉 카니발리제이션

마케팅 행동이 없었더라면 발생했을 이벤트/설치 수. 오가닉 카니발리제이션 데이터는 캠페인 시작 또는 예산 증가 를 측정하는 경우에만 이용 가능합니다.

Incremental 효과 절대값

전체 테스트 기간 동안 사용자의 행동이 지표 값에 미친 영향. 이는 액션이 있는 실제 값과 액션이 없는 경우의 평균 예측 지표 간의 일일 평균 차이를 비교하여 측정됩니다. 절대값은 다음 공식을 사용하여 계산됩니다: average actual value - average predicted value.

Incremental 효과 퍼센트

행동이 목표 지표에 미친 영향을 퍼센트로 나타낸 값. 이는 행동을 취하지 않았을 경우 예측된 지표 값과 행동을 취한 경우 발생한 실제 값 간의 일일 평균 차이를 비교하여 측정됩니다.

MAPE(모델 성과)

평균 오류(MAPE) 값은 기간 이전 동안 타겟 지표의 실제 값과 모델에 의해 생성된 예측값 간의 평균 차이를 측정합니다. 두 값 간의 차이의 백분율이 낮을수록 모델의 정확도가 높다는 것을 의미합니다. 10% 미만의 값은 매우 정확, 10~20%는 중간, 20% 초과는 낮음을 의미합니다.

P-값(유의성)

P-값(유의 확률)은 결과가 우연히 발생할 확률을 나타냅니다. P-값이 낮을수록 마케팅 활동이 목표 지표에 직접적인 영향을 미쳤을 확률이 더 높다는 것을 의미하며, P-값이 높을수록 해당 결과가 다른 변화 때문에 발생했을 확률이 높다는 뜻입니다. P-값이 0.05 미만이라면 측정된 행동이 유의미한 영향을 미쳤음을 나타냅니다.

• P-값 0.01

  • p값이 0.01이라는 것은 관찰된 효과가 우연에 의해 발생할 확률이 1%라는 것을 의미합니다. 이는 마케팅 활동이 유의미한 영향을 미쳤다는 강력한 증거로 간주됩니다.

• P-값 0.2

  • P-값이 0.2라면 관찰된 효과가 마케팅 활동의 결과라기 보다는 우연한 변동으로 인해 발생했을 확률이 20%라는 의미입니다. 마케팅 활동이 영향을 미쳤다고 볼 여지가 있지만, 추가적인 데이터와 분석 없이 이를 확신하기에는 증거가 부족합니다.

• P-값 0.5

  • P-값이 0.5라면 관찰된 효과가 우연에 의해 발생했을 확률이 50%라는 의미입니다. 마케팅 활동이 목표 지표에 유의미한 영향을 미쳤다고 볼만한 증거가 없음을 의미합니다.

실행 가능한 인사이트

결과 화면에서는 총 설치와 오가닉 설치에 대한 결과를 분석할 수 있으며, 증분 테스트의 모든 측면을 강조하고, 실행 가능한 인사이트를 제공하기 위해 5개의 섹션으로 구성되어 있습니다.

앱 바

• 증분 테스트의 주요 요소 식별
  • 액션: 해당 테스트를 위해 선택한 마케팅 활동
  • 캠페인: 테스트에 사용된 캠페인의 이름
  • 국가: 테스트가 실행된 국가
  • 채널: 테스트에 사용된 마케팅 채널
  • 액션 이후 기간: 증분 효과가 분석된 시간 범위
  • 지표: 측정 대상으로 선택한 핵심 지표
  • 성과: 모델의 신뢰도
  • 유의성: 변화가 예측 범위 내에서 발생하는 정도
    • 실제 결과가 예측 범위에 속하면 결과는 유의미하지 않음(Insignificant) 으로 표시됩니다.
    • 결과가 예측 범위를 벗어나면 유의미한(significant) 결과입니다.

액션 응답

• 테스트 결과 : 마케팅 활동이 캠페인에 긍정적 , Mixed 또는 부정적 영향을 줬는지 여부.
• 선택한 마케팅 행동과 그 영향에 관한 세부 정보
• 테스트 결과를 기반으로 다음 단계를 수행하기 위한 권장 사항

Adjust는 마케팅 활동이 전체 트래픽과 오가닉 트래픽의 타겟 지표에 미치는 영향을 측정하여 테스트의 결과를 계산합니다. 아래의 표는 각 결과가 어떻게 계산되는지 보여줍니다.

Incrementality 효과

• 상단 2개 차트는 전체 설치 및 오가닉 설치에 대한 증분 효과의 일일 평균 값을 백분율과 절대값으로 표시합니다.
  • 그래프는 일일 평균 실제 값(실선)과 예측 값(점선)을 비교를 시각적으로 보여줍니다.

InSight는 각 테스트에 대해 테스트 기간 동안 마케팅 활동이 타겟 지표에 미친 Incremental 효과 에 대한 요약 정보를 표시합니다. 이는 다음 지표에 요약되어 있습니다.

다음 InSight 지표는 Datascape와 리포트 서비스 API에서도 사용수 있습니다. Datascape 지표의 전체 목록은 Datascape 지표 페이지를 참고하시기 바랍니다.

점진적 증분 효과

• 액션 영향을 받은 전체 설치

• 액션 영향을 받은 오가닉 설치

• 액션 전후의 결과를 보여주는 그래프

  • 액션 이후 결과는 예측 범위를 강조하며, 실제 설치 수와 예측 설치 수가 어느 위치에 해당하는지를 보여줍니다.

• 참고 : '액션 이후만 표시'를 선택하면 보기 화면이 전환되어 액션 이후의 데이터 포인트만 분리해서 확인할 수 있습니다.

고급 데이터

고급 데이터 섹션에서는 InSight 테스트와 관련된 주요 지표의 상세 내용을 확인할 수 있습니다. 전체 및 오가닉 트래픽에 대해 더하기 아이콘을 선택하면 선택한 마케팅 활동을 수행 하기 이전 과 이후 에 각 지표의 값을 표시하여 해당 마케팅 활동이 캠페인에 미친 영향을 정확히 확인할 수 있습니다.

액션이 캠페인인 경우, 다음과 같은 지표에 따라 캠페인 레벨의 세부화된 데이터를 확인할 수 있습니다.

1. 설치(어트리뷰션)
2. 설치 (SKAN)
3. 설치당 비용(모두)
4. 총 세션 수
5. 광고 비용