InSight 테스트 결과 해석

테스트가 완료되면 InSight 결과 페이지로 이동하여 마케팅 활동이 타겟 지표에 어떠한 영향을 미쳤는지 확인할 수 있습니다. InSight 결과 화면은 다음의 테스트 정보를 표시합니다.

• 결과 개요
• 결과를 해석하고 다음 단계를 위한 제안을 제공하는 실행 가능한 인사이트.
• 주요 지표의 세분화된 분석

용어집

InSight 결과 페이지와 본 문서에서 다음의 용어는 테스트 결과를 설명하기 위해 사용됩니다.

Incremental 리프트

캠페인을 실행하지 않았다면 발생하지 않았을 목표 지표에 발생한 긍정적인 효과.

손실

캠페인을 실행하지 않았다면 발생하지 않았을 목표 지표에 발생한 부정적인 효과.

오가닉 카니발리제이션

마케팅 행동이 없었더라면 발생했을 이벤트/설치 수. 오가닉 카니발리제이션 데이터는 캠페인 시작 또는 예산 증가 를 측정하는 경우에만 이용 가능합니다.

Incremental 효과 절대값

전체 테스트 기간 동안 사용자의 행동이 지표 값에 미친 영향. 이는 액션이 있는 실제 값과 액션이 없는 경우의 평균 예측 지표 간의 일일 평균 차이를 비교하여 측정됩니다. 절대값은 다음 공식을 사용하여 계산됩니다: average actual value - average predicted value.

Incremental 효과 퍼센트

행동이 목표 지표에 미친 영향을 퍼센트로 나타낸 값. 이는 행동을 취하지 않았을 경우 예측된 지표 값과 행동을 취한 경우 발생한 실제 값 간의 일일 평균 차이를 비교하여 측정됩니다.

MAPE

평균 오류(MAPE) 값은 기간 이전 동안 타겟 지표의 실제 값과 모델에 의해 생성된 예측값 간의 평균 차이를 측정합니다. 두 값 간의 차이의 백분율이 낮을수록 모델의 정확도가 높다는 것을 의미합니다. 10% 미만의 값은 매우 정확, 10~20%는 중간, 20% 초과는 낮음을 의미합니다.

P-값

P-값(유의 확률)은 결과가 우연히 발생할 확률을 나타냅니다. P-값이 낮을수록 마케팅 활동이 목표 지표에 직접적인 영향을 미쳤을 확률이 더 높다는 것을 의미하며, P-값이 높을수록 해당 결과가 다른 변화 때문에 발생했을 확률이 높다는 뜻입니다. P-값이 0.05 미만이라면 측정된 행동이 유의미한 영향을 미쳤음을 나타냅니다.

• P-값 0.01

  • p값이 0.01이라는 것은 관찰된 효과가 우연에 의해 발생할 확률이 1%라는 것을 의미합니다. 이는 마케팅 활동이 유의미한 영향을 미쳤다는 강력한 증거로 간주됩니다.

• P-값 0.2

  • P-값이 0.2라면 관찰된 효과가 마케팅 활동의 결과라기 보다는 우연한 변동으로 인해 발생했을 확률이 20%라는 의미입니다. 마케팅 활동이 영향을 미쳤다고 볼 여지가 있지만, 추가적인 데이터와 분석 없이 이를 확신하기에는 증거가 부족합니다.

• P-값 0.5

  • P-값이 0.5라면 관찰된 효과가 우연에 의해 발생했을 확률이 50%라는 의미입니다. 마케팅 활동이 목표 지표에 유의미한 영향을 미쳤다고 볼만한 증거가 없음을 의미합니다.

실제 및 예측 결과

결과 화면에서는 전체 트래픽과 오가닉 트래픽에 대한 결과를 분석할 수 있습니다. 전체 탭과 오가닉 탭을 선택하여 해당 보기를 전환할 수 있습니다.

결과 화면에는 다음의 정보가 표시됩니다.

• 테스트 결과 : 마케팅 활동이 캠페인에 긍정적 , Mixed 또는 부정적 영향을 줬는지 여부.
• 행동 : 테스트를 위해 선택한 마케팅 행동.
• 지표 : 측정을 위해 선택한 지표.
• Incrementality 효과 : 선택한 측정 기간 동안 InSight가 예측한 데이터와 실제로 발생한 데이터의 차이.
• MAPE : 평균 오류 값.
• 모델 성과 : 모델의 신뢰도.
• P-값 : 행동의 P-값.
• 행동의 유의미성 : 변경 사항이 InSight의 예측 범위(차트에서 보라색 영역으로 표시됨) 내에 해당되는지 여부.
  • 실제 결과가 예측 범위에 속하면 결과는 유의미하지 않음(Insignificant) 으로 표시됩니다.
  • 결과가 예측 범위를 벗어나면 유의미한(significant) 결과입니다.

Adjust는 마케팅 활동이 모든 트래픽과 오가닉 트래픽에 대한 타겟 지표에 미친 영향을 측정하여 테스트의 결과 를 계산합니다. 아래의 표는 각 결과가 어떻게 계산되는지 보여줍니다.

실행 가능한 인사이트

Adjust는 테스트 결과에 대한 이해를 돕기 위해 실행 가능한 인사이트 를 제공합니다. Adjust는 각 테스트에 대해 마케팅 활동 시 발생한 상황에 대한 상세 정보 를 제공하여 테스트 결과 해석에 활용할 수 있으며 테스트 결과에 기반한 조언을 제공하는 Recommendations 를 지원합니다.

예를 들어 InSight 테스트를 완료하여 새로 론칭된 캠페인의 효과를 평가하고, 전체 캠페인과 오가명 모두에서 원하는 incremental 리프트를 달성했는지 확인할 수 있습니다.

InSight 테스트를 실행하면, 마케팅 활동 시 발생한 현상에 대한 상세한 정보를 확인할 수 있습니다. 예를 들면 캠페인의 증분(Incremental) 리프트 효과를 평가하고, 총 설치와 오가닉 설치가 증가하거나 감소했는지 알 수 있을 뿐만 아니라 오가닉 카니발리제이션 이 발생했는지 등도 알 수 있습니다. 이러한 상세한 정보는 캠페인의 효과를 평가하는 데 도움이 됩니다.

또한 Adjust는 테스트 결과에 기반한 Recommendations 을 제공합니다. 캠페인이 모든 설치 수는 크게 증가했으나 오가닉 카니발리제이션 을 초래한 경우, Adjust는 어트리뷰션 윈도우를 단축함과 동시에 예산을 늘리는 것을 제안할 수 있습니다. Adjust는 상세한 결과와 실용적인 권장 사항을 결합하여, 고객사가 정확한 정보에 기반한 결정을 내리고 효과적으로 마케팅 전략을 구체화할 수 있도록 지원합니다.

고급 데이터

고급 데이터 섹션에서는 InSight 테스트와 관련된 주요 지표의 상세 내용을 확인할 수 있습니다. 전체 및 오가닉 트래픽에 대해 더하기 아이콘을 선택하면 선택한 마케팅 활동을 수행 하기 이전 과 이후 에 각 지표의 값을 표시하여 해당 마케팅 활동이 캠페인에 미친 영향을 정확히 확인할 수 있습니다. 이러한 차이는 각 트래픽 유형 아래의 차이 행에 요약되어 있습니다.

InSight는 각 테스트에 대해 테스트 기간 동안 마케팅 활동이 타겟 지표에 미친 Incremental 효과 에 대한 요약 정보를 표시합니다. 이는 다음 지표에 요약되어 있습니다.

• Incrementality 효과 절댓값 : 선택한 측정 기간 동안 InSight가 예측한 데이터와 실제로 발생한 데이터 편차의 일평균값.
• Incremental 효과 퍼센트 : 선택한 측정 기간 동안 InSight가 예측한 데이터와 실제로 발생한 데이터 편차의 일평균값(퍼센트).

다음 InSight 지표는 Datascape와 리포트 서비스 API에서도 사용수 있습니다. Datascape 지표의 전체 목록은 Datascape 지표 페이지를 참고하시기 바랍니다.

결과 해석

InSight Incrementality 테스트를 실행하고 상태가 Completed 로 업데이트되면 테스트 결과를 확인할 수 있습니다.