InSight 결과 보기

테스트가 완료되면 결과 페이지에서 특정 마케팅 활동이 지정된 타겟 지표에 미치는 영향을 측정 가능한 수치로 확인할 수 있습니다. 다음을 확인하실 수 있습니다.

• 결과 요약: 테스트 결과의 핵심 요약
• 인사이트 & 권장 사항: 결과를 분석하고 다음 단계를 결정할 수 있도록 가이드 제공
• 지표 세부 분석: 주요 퍼포먼스 지표에 대한 상세한 내용

결과 활용법

Adjust는 테스트 결과 및 다음 단계에 필요한 조치에 관해 실질적인 인사이트를 제공합니다.

결과 페이지는 모든 설치와 오가닉 설치의 퍼포먼스를 상세히 제공하여, 마케팅 활동의 증분 효과를 확인할 수 있습니다. 결과는 다음의 섹션별로 표시됩니다.

• 마케팅 활동의 증분 효과
• 모든 설치 대비 오가닉 설치 변화
• 오가닉 설치의 성장 기여 또는 카니발리제이션 여부
• 결과의 통계적 중요성
• 향후 캠페인에 대한 실질적 시사점

예시

새로 시작한 캠페인의 영향을 측정하기 위한 InSight 테스트가 완료되면, Adjust는 결과에 따라 캠페인 최적화를 도와줄 맞춤화된 권장사항을 제공합니다.

캠페인이 모든 설치는 막대하게 높였으나 오가닉 카니발리제이션을 야기한 경우, Adjust는 다음을 제안할 수 있습니다.

• 증분 효과를 극대화하기 위해 캠페인 예산 확대
• 카니발리제이션을 줄이기 위해 어트리뷰션 윈도우 단축

Adjust는 명확한 결과와 구체적인 권장 사항을 함께 제공하여, 고객사가 확신을 갖고 빠르게 의사결정을 내리고, 계속해서 마케팅 전략을 개선할 수 있도록 지원합니다.

앱 바

• 증분 테스트의 주요 요소 식별
  • 액션: 해당 테스트를 위해 선택한 마케팅 활동
  • 캠페인: 테스트에 사용된 캠페인의 이름
  • 국가: 테스트가 실행된 국가
  • 채널: 테스트에 사용된 마케팅 채널
  • 액션 이후 기간: 증분 효과가 분석된 시간 범위
  • 지표: 측정 대상으로 선택한 핵심 지표
  • 성과: 모델의 신뢰도
  • 유의성: 변화가 예측 범위 내에서 발생하는 정도
    • 실제 결과가 예측 범위에 속하면 결과는 유의미하지 않음(Insignificant) 으로 표시됩니다.
    • 결과가 예측 범위를 벗어나면 유의미한(significant) 결과입니다.

액션 응답

• 테스트 결과 : 마케팅 활동이 캠페인에 긍정적 , Mixed 또는 부정적 영향을 줬는지 여부.
• 선택한 마케팅 행동과 그 영향에 관한 세부 정보
• 테스트 결과를 기반으로 다음 단계를 수행하기 위한 권장 사항

Adjust는 마케팅 활동이 전체 트래픽과 오가닉 트래픽의 타겟 지표에 미치는 영향을 측정하여 테스트의 결과를 계산합니다. 아래의 표는 각 결과가 어떻게 계산되는지 보여줍니다.

결과 요약

InSight는 각 테스트에 대해 테스트 기간 동안 마케팅 활동이 타겟 지표에 미친 증분 효과 를 요약하여 제공합니다. 상단의 두 차트는 모든 설치 및 오가닉 설치에 대한 증분 효과의 일일 평균 값을 백분율과 절대값으로 표시합니다. 그래프는 일일 평균 실제 값(실선)과 예측 값(점선)을 비교하여 보여줍니다.

InSight 리포트에서 확인 가능한 지표:

Datascape 지표의 전체 목록은 Datascape 지표 페이지를 참고하시기 바랍니다.

점진적 증분 효과

• 액션 영향을 받은 전체 설치

• 액션 영향을 받은 오가닉 설치

• 액션 전후의 결과를 보여주는 그래프

  • 액션 이후 결과는 예측 범위를 강조하며, 실제 설치 수와 예측 설치 수가 어느 위치에 해당하는지를 보여줍니다.

• 참고 : '액션 이후만 표시'를 선택하면 보기 화면이 전환되어 액션 이후의 데이터 포인트만 분리해서 확인할 수 있습니다.

고급 데이터

고급 데이터 섹션에서는 InSight 테스트와 관련된 주요 지표의 상세 내용을 확인할 수 있습니다. 전체 및 오가닉 트래픽에 대해 더하기 아이콘을 선택하면 선택한 마케팅 활동을 수행 하기 이전 과 이후 에 각 지표의 값을 표시하여 해당 마케팅 활동이 캠페인에 미친 영향을 정확히 확인할 수 있습니다.

액션이 캠페인인 경우, 다음과 같은 지표에 따라 캠페인 레벨의 세부화된 데이터를 확인할 수 있습니다.

1. 설치(어트리뷰션)
2. 설치 (SKAN)
3. 설치당 비용(모두)
4. 총 세션 수
5. 광고 비용

용어집

결과 페이지에서는 테스트 결과를 설명하기 위해 다음의 용어를 사용합니다.

Incremental 리프트

캠페인을 실행하지 않았다면 발생하지 않았을 목표 지표에 발생한 긍정적인 효과.

손실

캠페인을 실행하지 않았다면 발생하지 않았을 목표 지표에 발생한 부정적인 효과.

오가닉 카니발리제이션

마케팅 행동이 없었더라면 발생했을 이벤트/설치 수. 오가닉 카니발리제이션 데이터는 캠페인 시작 또는 예산 증가 를 측정하는 경우에만 이용 가능합니다.

Incremental 효과 절대값

전체 테스트 기간 동안 사용자의 행동이 지표 값에 미친 영향. 이는 액션이 있는 실제 값과 액션이 없는 경우의 평균 예측 지표 간의 일일 평균 차이를 비교하여 측정됩니다. 절대값은 다음 공식을 사용하여 계산됩니다: average actual value - average predicted value.

Incremental 효과 퍼센트

행동이 목표 지표에 미친 영향을 퍼센트로 나타낸 값. 이는 행동을 취하지 않았을 경우 예측된 지표 값과 행동을 취한 경우 발생한 실제 값 간의 일일 평균 차이를 비교하여 측정됩니다.

MAPE(모델 성과)

평균 오류(MAPE) 값은 기간 이전 동안 타겟 지표의 실제 값과 모델에 의해 생성된 예측값 간의 평균 차이를 측정합니다. 두 값 간의 차이의 백분율이 낮을수록 모델의 정확도가 높다는 것을 의미합니다. 10% 미만의 값은 매우 정확, 10~20%는 중간, 20% 초과는 낮음을 의미합니다.

P-값(유의성)

P-값(유의 확률)은 결과가 우연히 발생할 확률을 나타냅니다. P-값이 낮을수록 마케팅 활동이 목표 지표에 직접적인 영향을 미쳤을 확률이 더 높다는 것을 의미하며, P-값이 높을수록 해당 결과가 다른 변화 때문에 발생했을 확률이 높다는 뜻입니다. P-값이 0.05 미만이라면 측정된 행동이 유의미한 영향을 미쳤음을 나타냅니다.

• P-값 0.01

  • p값이 0.01이라는 것은 관찰된 효과가 우연에 의해 발생할 확률이 1%라는 것을 의미합니다. 이는 마케팅 활동이 유의미한 영향을 미쳤다는 강력한 증거로 간주됩니다.

• P-값 0.2

  • P-값이 0.2라면 관찰된 효과가 마케팅 활동의 결과라기 보다는 우연한 변동으로 인해 발생했을 확률이 20%라는 의미입니다. 마케팅 활동이 영향을 미쳤다고 볼 여지가 있지만, 추가적인 데이터와 분석 없이 이를 확신하기에는 증거가 부족합니다.

• P-값 0.5

  • P-값이 0.5라면 관찰된 효과가 우연에 의해 발생했을 확률이 50%라는 의미입니다. 마케팅 활동이 목표 지표에 유의미한 영향을 미쳤다고 볼만한 증거가 없음을 의미합니다.