Xem kết quả InSight

Sau khi đợt kiểm thử chạy xong, bạn có thể truy cập trang kết quả để xem tác động thật sự của hành động marketing lên chỉ số mục tiêu. Bạn có thể xem:

Tóm tắt kết quả: Kết quả rõ ràng về hiệu suất kiểm thử
Thông tin chuyên sâu & đề xuất: Hướng dẫn giúp bạn giải thích kết quả và quyết định bước tiếp theo
Phân tích chỉ số: Chi tiết về các chỉ số hiệu suất chính

Diễn giải kết quả

Adjust cung cấp thông tin minh bạch, rõ ràng, giúp bạn nhìn lại quá trình kiểm thử cũng như xác định cụ thể bước hành động tiếp theo.

Kết quả hiệu suất được chia theo tất cả lượt cài đặt (all installs) và lượt cài đặt tự nhiên (organic install), giúp bạn có bức tranh toàn cảnh về tác động thật sự của chiến dịch marketing. Kết quả được sắp xếp thành các mục sau:

Hiệu ứng tăng (incremental effect) của hành động marketing
Mức độ thay đổi của tất cả lượt cài đặt so với lượt cài đặt tự nhiên
Số lượt cài đặt tự nhiên tăng hay giảm (cannibalize)
Ý nghĩa thống kê của kết quả
Thay đổi đối với chiến dịch sắp tới

Ví dụ

Bạn vừa hoàn thành kiểm thử InSight để đo lường tác động của chiến dịch mới triển khai. Adjust sẽ căn cứ kết quả kiểm thử để đưa ra đề xuất phù hợp, giúp bạn tối ưu hóa chiến dịch.

Nếu chiến dịch làm tăng có ý nghĩa thống kê tất cả lượt cài đặt, nhưng lại gây ra tình trạng tự tước đoạt doanh thu (organic cannibalization), Adjust có thể đề xuất:

Tăng ngân sách chiến dịch để khuếch đại hiệu ứng tăng
Rút ngắn khung thời gian phân bổ (attribution window) để ngăn tình trạng tự tước đoạt doanh thu

Cung cấp đồng thời kết quả rõ ràng và đề xuất, Adjust giúp bạn có căn cứ để nhanh chóng ra quyết định cho bước tiếp theo, cũng như liên tục điều chỉnh chiến lược marketing.

Thanh ứng dụng

Xác định những khía cạnh chính của kiểm thử tăng tiến
- Hành động: Hành động marketing được chọn để kiểm thử
- Chiến dịch: Tên của chiến dịch được chọn để kiểm thử
- Quốc gia: Tên của quốc gia được chọn để kiểm thử
- Kênh: Kênh được chọn để kiểm thử
- Sau thời điểm thực hiện hành động: Khung thời gian được chọn để phân tích kết quả kiểm thử tăng tiến
- Chỉ số: Chỉ số bạn muốn đo lường
- Hiệu suất: Đánh giá độ đáng tin của mô hình
- Ý nghĩa thống kê: Cho biết sự biến động của dữ liệu có nằm trong khoảng dự đoán hay không.
  - Nếu kết quả thực nằm trong phạm vi dự đoán, thì kết quả không có ý nghĩa thống kê.
  - Nếu kết quả thực nằm ngoài phạm vi dự đoán, thì kết quả có ý nghĩa thông kê.

Phản ứng

Kết quả của đợt kiểm thử: Cho biết hành động marketing có tác động Tích cực (Positive) , Hỗn hợp (Mixed) hay Tiêu cực (Negative) lên chiến dịch.
Cho biết hành động và tác động của hành động marketing.
Đề xuất bước tiếp theo dựa trên kết quả kiểm thử

Adjust tính kết quả của đợt kiểm thử bằng cách đo tác động của hành động marketing lên chỉ số mục tiêu trong hai trường hợp: xem xét tất cả lưu lượng truy cập và chỉ xem xét lưu lượng truy cập tự nhiên. Bảng dưới đây là cách tính từng kết quả.

Hành động marketing	Tác động lên chỉ số – tất cả lưu lượng truy cập	Tác động lên chỉ số – lưu lượng truy cập tự nhiên	Kết quả InSight
Chiến dịch bắt đầu	Lift	Lift	Positive
Chiến dịch bắt đầu	Lift	Loss	Mixed
Chiến dịch bắt đầu	Loss	Lift	Mixed
Chiến dịch bắt đầu	Loss	Loss	Negative
Tăng ngân sách	Lift	Lift	Positive
Tăng ngân sách	Lift	Loss	Mixed
Tăng ngân sách	Loss	Lift	Mixed
Tăng ngân sách	Loss	Loss	Mixed
Chiến dịch ngừng	Lift	Lift	Mixed
Chiến dịch ngừng	Lift	Loss	Mixed
Chiến dịch ngừng	Loss	Lift	Mixed
Chiến dịch ngừng	Loss	Loss	Positive
Giảm ngân sách	Lift	Lift	Negative
Giảm ngân sách	Lift	Loss	Mixed
Giảm ngân sách	Loss	Lift	Mixed
Giảm ngân sách	Loss	Loss	Positive

Tóm tắt kết quả

Đối với mỗi đợt kiểm thử, InSight sẽ tóm tắt hiệu ứng tăng của hành động marketing đối với chỉ số mục tiêu trong khoảng thời gian kiểm thử. Hai biểu đồ trên cùng cho biết tác động trung bình ngày, biểu diễn ở dạng giá trị phần trăm và giá trị tuyệt đối cho cả hai mục tiêu là tất cả lượt cài đặt và lượt cài đặt tự nhiên. Biểu đồ so sánh giá trị thực (đường nét liền) với giá trị dự đoán (đường nét đứt) theo trung bình ngày.

Các chỉ số có trong báo cáo InSight:

	Định nghĩa	Công thức	Chỉ số API ID
Doanh thu trung bình trên mỗi sự kiện	Doanh thu trung bình, tạo bởi sự kiện bạn chọn, đến từ người dùng cài ứng dụng trong khung thời gian bạn chọn.	`Tổng doanh thu của sự kiện / số lần sự kiện được kích hoạt`	`average_revenue_per_event`
Doanh thu tăng tiến	Doanh thu bổ sung, dựa trên kết quả so sánh với nhóm đối chứng	`(Giá trị tăng tiến thực tế - giá trị tăng tiến trung bình) * Doanh thu trung bình trên mỗi sự kiện`	`incremental_revenue`
ROAS tăng tiến	Lợi tức trên chi phí quảng cáo (ROAS), được tính dựa trên doanh thu in-app, trong một khung thời gian cohort cụ thể	-	`incremental_roas`

Tham khảo bài viết chỉ số Datascape để xem danh sách đầy đủ các chỉ số Datascape.

Hiệu ứng tăng theo thời gian

Tất cả lượt cài đặt với tác động của hành động
Lượt cài đặt tự nhiên với tác động của hành động
Biểu đồ cho biết kết quả trước và sau khi thực hiện hành động
- Kết quả 'sau thời điểm thực hiện hành động' nhấn mạnh khoảng dự đoán và cho biết giá trị dự đoán và giá trị thực tế nằm ở đâu
Lưu ý rằng bạn có thể chọn "Chỉ hiển thị sau ngày hành động" để tách riêng dữ liệu sau khi thực hiện hành động marketing

Dữ liệu nâng cao

Mục Dữ liệu nâng cao cung cấp thông tin chi tiết về các chỉ số chính trong đợt kiểm thử InSight. Chọn xem tất cả lưu lượng truy cập hoặc lưu lượng truy cập tự nhiên , sau đó chọn biểu tượng dấu cộng để xem giá trị chỉ số trước và sau thực hiện hành động marketing, để biết chính xác tác động của hành động đó lên chiến dịch.

Nếu hành động của bạn ở dạng chiến dịch, bạn sẽ thấy các thông tin sau:

Lượt cài đặt (Phân bổ)
Lượt cài đặt (SKAN)
CPI (tất cả)
Tổng phiên truy cập
Chi phí quảng cáo

Thuật ngữ

Trang kết quả sử dụng các thuật ngữ sau để mô tả kết quả kiểm thử.

Incremental Lift: Chiến dịch có tác động tích cực lên chỉ số mục tiêu; tác động này sẽ không xảy ra nếu bạn không triển khai chiến dịch.
Loss: Chiến dịch có tác động tiêu cực lên chỉ số mục tiêu; tác động này sẽ không xảy ra nếu bạn không triển khai chiến dịch.
Organic Cannibalization: Sự kiện/lượt cài đặt đáng lẽ sẽ xảy ra nếu bạn không thực hiện hành động marketing. Dữ liệu này chỉ xuất hiện trong trường hợp bạn chọn đo lường hành động Chiến dịch bắt đầu hoặc Tăng ngân sách .
Giá trị tuyệt đối của hiệu ứng tăng: Tác động của hành động marketing lên giá trị của chỉ số trong khoảng thời gian kiểm thử. Tác động được đo lường bằng cách so sánh mức chênh lệch giữa giá trị thực của chỉ số sau khi thực hiện hành động và giá trị dự đoán của chỉ số nếu không thực hiện hành động; mức chênh lệch được đo hằng ngày, sau đó tính trung bình. Giá trị tuyệt đối được tính bằng công thức sau: average actual value - average predicted value.
Tỷ lệ phần trăm của hiệu ứng tăng: Tác động của hành động marketing lên giá trị của chỉ số mục tiêu (được thể hiện dưới dạng phần trăm). Tác động được đo lường bằng cách so sánh mức chênh lệch giữa giá trị dự đoán của chỉ số nếu không thực hiện hành động và giá trị thực của chỉ số sau khi thực hiện hành động; mức chênh lệch được đo hằng ngày, sau đó tính trung bình.
MAPE (Hiệu suất mô hình): Giá trị sai số phần trăm tuyệt đối trung bình (MAPE) cho biết sự khác biệt trung bình giữa giá trị thực tế của chỉ số mục tiêu trong kỳ trước và giá trị dự đoán do mô hình cung cấp. Kết quả phần trăm càng thấp thì độ chính xác của mô hình càng cao. Cụ thể, giá trị dưới 10% thì dự đoán có độ chính xác cao , giá trị từ 10 đến 20% thì độ chính xác trung bình , giá trị trên 20% thì độ chính xác thấp.
Giá trị P (Ý nghĩa thống kê): Giá trị P (giá trị xác suất) cho biết phần trăm khả năng giá trị bạn nhận được là do yếu tố ngẫu nhiên gây ra. Giá trị P thấp thì nhiều khả năng hành động marketing của bạn có tác động trực tiếp đến chỉ số mục tiêu; ngược lại, giá trị P cao thì nhiều khả năng giá trị chỉ số mục tiêu bạn nhận được là kết quả tác động của những thay đổi khác. Giá trị P nhỏ hơn 0,05 nghĩa là hành động marketing của bạn tạo ra tác động ý nghĩa thống kê .

Giá trị P = 0,01
- Giá trị P bằng 0,01 nghĩa là, có 1% khả năng hiệu ứng quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra. Đây là bằng chứng cho thấy hành động marketing của bạn tạo ra tác động có ý nghĩa về mặt thống kê.
Giá trị P = 0,2
- Giá trị P bằng 0,2 nghĩa là, có 20% khả năng hiệu quả quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra, không phải do hành động marketing mà bạn thực hiện. Kết quả này cho thấy hành động marketing của bạn có thể đã tạo ra tác động, nhưng bằng chứng này không đủ chắc chắn, cần có thêm dữ liệu hoặc tiến hành phân tích chuyên sâu.
Giá trị P = 0,5
- Giá trị P bằng 0,5 nghĩa là, có 50% khả năng hiệu quả quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra, hay nói cách khác, không có bằng chứng nào cho thấy hành động marketing của bạn có tạo ra tác động lên chỉ số mục tiêu.