Diễn giải kết quả kiểm thử InSight

Sau khi đợt kiểm thử chạy xong, bạn có thể truy cập trang kết quả InSight để xem tác động thật sự của hành động marketing lên chỉ số mục tiêu. Trang kết quả InSight cung cấp các thông tin sau:

Kết quả tổng quan.
Thông tin hữu dụng giúp bạn diễn giải kết quả và đề xuất cho bước tiếp theo.
Kết quả phân tích chỉ số.

Thuật ngữ

Bảng sau liệt kê các thuật ngữ được sử dụng trong trang kết quả InSight và trong tài liệu này để diễn tả kết quả kiểm thử.

Incremental Lift: Chiến dịch có tác động tích cực lên chỉ số mục tiêu; tác động này sẽ không xảy ra nếu bạn không triển khai chiến dịch.
Loss: Chiến dịch có tác động tiêu cực lên chỉ số mục tiêu; tác động này sẽ không xảy ra nếu bạn không triển khai chiến dịch.
Organic Cannibalization: Sự kiện/lượt cài đặt đáng lẽ sẽ xảy ra nếu bạn không thực hiện hành động marketing. Dữ liệu này chỉ xuất hiện trong trường hợp bạn chọn đo lường hành động Chiến dịch bắt đầu hoặc Tăng ngân sách .
Giá trị tuyệt đối của hiệu ứng tăng: Tác động của hành động marketing lên giá trị của chỉ số trong khoảng thời gian kiểm thử. Tác động được đo lường bằng cách so sánh mức chênh lệch giữa giá trị thực của chỉ số sau khi thực hiện hành động và giá trị dự đoán của chỉ số nếu không thực hiện hành động; mức chênh lệch được đo hằng ngày, sau đó tính trung bình. Giá trị tuyệt đối được tính bằng công thức sau: average actual value - average predicted value.
Tỷ lệ phần trăm của hiệu ứng tăng: Tác động của hành động marketing lên giá trị của chỉ số mục tiêu (được thể hiện dưới dạng phần trăm). Tác động được đo lường bằng cách so sánh mức chênh lệch giữa giá trị dự đoán của chỉ số nếu không thực hiện hành động và giá trị thực của chỉ số sau khi thực hiện hành động; mức chênh lệch được đo hằng ngày, sau đó tính trung bình.
MAPE: Giá trị sai số phần trăm tuyệt đối trung bình (MAPE) cho biết sự khác biệt trung bình giữa giá trị thực tế của chỉ số mục tiêu trong kỳ trước và giá trị dự đoán do mô hình cung cấp. Kết quả phần trăm càng thấp thì độ chính xác của mô hình càng cao. Cụ thể, giá trị dưới 10% thì dự đoán có độ chính xác cao , giá trị từ 10 đến 20% thì độ chính xác trung bình , giá trị trên 20% thì độ chính xác thấp.
Giá trị p: Giá trị P (giá trị xác suất) cho biết phần trăm khả năng giá trị bạn nhận được là do yếu tố ngẫu nhiên gây ra. Giá trị P thấp thì nhiều khả năng hành động marketing của bạn có tác động trực tiếp đến chỉ số mục tiêu; ngược lại, giá trị P cao thì nhiều khả năng giá trị chỉ số mục tiêu bạn nhận được là kết quả tác động của những thay đổi khác. Giá trị P nhỏ hơn 0,05 nghĩa là hành động marketing của bạn tạo ra tác động ý nghĩa thống kê .

Giá trị P = 0,01
- Giá trị P bằng 0,01 nghĩa là, có 1% khả năng hiệu ứng quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra. Đây là bằng chứng cho thấy hành động marketing của bạn tạo ra tác động có ý nghĩa về mặt thống kê.
Giá trị P = 0,2
- Giá trị P bằng 0,2 nghĩa là, có 20% khả năng hiệu quả quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra, không phải do hành động marketing mà bạn thực hiện. Kết quả này cho thấy hành động marketing của bạn có thể đã tạo ra tác động, nhưng bằng chứng này không đủ chắc chắn, cần có thêm dữ liệu hoặc tiến hành phân tích chuyên sâu.
Giá trị P = 0,5
- Giá trị P bằng 0,5 nghĩa là, có 50% khả năng hiệu quả quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra, hay nói cách khác, không có bằng chứng nào cho thấy hành động marketing của bạn có tạo ra tác động lên chỉ số mục tiêu.

Kết quả thực tế so với giá trị dự đoán

Ở màn hình kết quả, bạn có thể phân tích lưu lượng truy cập tự nhiên (Organic ) và tất cả lưu lượng truy cập (All) . Để xem kết quả bạn cần, gạt thanh qua lại giữa hai tùy chọn Organic và All.

Màn hình kết quả hiển thị các thông tin sau:

Kết quả của đợt kiểm thử: Cho biết hành động marketing có tác động Tích cực (Positive) , Hỗn hợp (Mixed) hay Tiêu cực (Negative) lên chiến dịch.
Hành động : Hành động marketing được chọn để kiểm thử.
Chỉ số : Chỉ số bạn muốn đo lường.
Hiệu ứng tăng (incremental effect) : Sự khác biệt giữa giá trị mà InSight dự đoán (điều dự kiến xảy ra) và giá trị thực sự được ghi nhận trong khoảng thời gian đo lường (điều thực sự xảy ra).
MAPE : Sai số phần trăm tuyệt đối trung bình.
Hiệu suất mô hình : Cho biết độ đáng tin của mô hình.
Giá trị p : Giá trị p của hành động.
Ý nghĩa thống kê : Cho biết sự thay đổi có nằm trong phạm vi dự đoán của InSight hay không (được biểu thị bằng vùng màu tím trong biểu đồ).
- Nếu kết quả thực nằm trong phạm vi dự đoán, thì kết quả không có ý nghĩa thống kê.
- Nếu kết quả thực nằm ngoài phạm vi dự đoán, thì kết quả có ý nghĩa thông kê.

Adjust tính Kết quả của đợt kiểm thử bằng cách đo tác động của hành động marketing lên chỉ số mục tiêu trong trường hợp xem xét tất cả lưu lượng truy cập và chỉ xem xét lưu lượng truy cập tự nhiên . Bảng dưới đây là cách tính từng kết quả.

Hành động marketing	Tác động lên chỉ số – tất cả lưu lượng truy cập	Tác động lên chỉ số – lưu lượng truy cập tự nhiên	Kết quả InSight
Chiến dịch bắt đầu	Lift	Lift	Tích cực
Chiến dịch bắt đầu	Lift	Loss	Mixed
Chiến dịch bắt đầu	Loss	Lift	Mixed
Chiến dịch bắt đầu	Loss	Loss	Tiêu cực
Tăng ngân sách	Lift	Lift	Tích cực
Tăng ngân sách	Lift	Loss	Mixed
Tăng ngân sách	Loss	Lift	Mixed
Tăng ngân sách	Loss	Loss	Mixed
Chiến dịch ngừng	Lift	Lift	Mixed
Chiến dịch ngừng	Lift	Loss	Mixed
Chiến dịch ngừng	Loss	Lift	Mixed
Chiến dịch ngừng	Loss	Loss	Tích cực
Giảm ngân sách	Lift	Lift	Tiêu cực
Giảm ngân sách	Lift	Loss	Mixed
Giảm ngân sách	Loss	Lift	Mixed
Giảm ngân sách	Loss	Loss	Tích cực

Thông tin bổ sung

Để giúp bạn hiểu hơn về kết quả kiểm thử, Adjust có cung cấp thông tin hữu dụng . Ở mỗi đợt kiểm thử, Adjust cung cấp Thông tin chi tiết những việc đã xảy ra khi bạn thực hiện hành động marketing, giúp bạn diễn giải kết quả kiểm thử hiệu quả hơn. Adjust có thêm phần Đề xuất , cung cấp gợi ý thiết thực về bước tiếp theo dựa trên kết quả kiểm thử.

Ví dụ, bạn vừa chạy xong một đợt kiểm thử InSight để đánh giá tác động của chiến dịch mới triển khai, rằng liệu chiến dịch mới này có mang đến hiệu ứng tăng tiến (incremental lift) cho tất cả lưu lượng truy cập và lưu lượng truy cập tự nhiên hay không.

Ở kết quả kiểm thử InSight, bạn có thể xem chi tiết những việc đã xảy ra khi thực hiện hành động marketing. Ví dụ, bạn có thể đánh giá hiệu ứng tăng tiến của chiến dịch, biết được số lượt cài đặt ( tất cả lượt cài đặt và lượt cài đặt tự nhiên ) tăng hay giảm, hay liệu có tình trạng tự tước đoạt doanh thu (organic cannibalization) xảy ra không. Các thông tin này giúp bạn đánh giá hiệu quả thực sự của chiến dịch.

Adjust còn cung cấp thêm phần Đề xuất dựa trên kết quả kiểm thử. Nếu chiến dịch của bạn làm tăng có ý nghĩa thống kê tất cả lượt cài đặt, nhưng lại gây ra tình trạng tự tước đoạt doanh thu (organic cannibalization) , thì Adjust có thể sẽ đề xuất tăng ngân sách cho chiến dịch, song song rút ngắn khung thời gian phân bổ. Qua thông tin hữu dụng và đề xuất, Adjust hy vọng có thể giúp bạn có căn cứ ra quyết định cho bước tiếp theo cũng như điều chỉnh chiến lược marketing một cách hiệu quả.

Dữ liệu nâng cao

Mục Dữ liệu nâng cao cung cấp thông tin chi tiết về các chỉ số chính trong đợt kiểm thử InSight. Chọn xem tất cả lưu lượng truy cập hoặc lưu lượng truy cập tự nhiên , sau đó chọn biểu tượng dấu cộng để xem giá trị chỉ số trước và sau thực hiện hành động marketing, để biết chính xác tác động của hành động đó lên chiến dịch. Sự chênh lệch trước sau được hiển thị ở hàng Chênh lệch ngay bên dưới từng loại lưu lượng truy cập.

Đối với mỗi đợt kiểm thử, InSight tóm tắt hiệu ứng tăng tiến của hành động marketing đối với chỉ số mục tiêu trong khoảng thời gian kiểm thử. Dưới đây là các thông tin tóm tắt cho từng chỉ số:

Hiệu ứng tăng (incremental effect) : Sự khác biệt giữa giá trị mà InSight dự đoán (điều dự kiến xảy ra) và giá trị thực sự được ghi nhận trong khoảng thời gian đo lường (điều thực sự xảy ra).
Phần trăm hiệu ứng tăng (incremental effect percentage) : Sự khác biệt trung bình theo ngày giữa giá trị mà InSight dự đoán (điều dự kiến xảy ra) và giá trị thực sự được ghi nhận trong khoảng thời gian đo lường (điều thực sự xảy ra), được biểu diễn dưới dạng tỷ lệ phần trăm.

Các chỉ số chuyên biệt cho kiểm thử InSight cũng có trong Datascape và Report Service API. Tham khảo bài viết chỉ số Datascape để xem danh sách đầy đủ các chỉ số Datascape.

	Định nghĩa	Công thức	Chỉ số API ID
Doanh thu trung bình trên mỗi sự kiện	Doanh thu trung bình, tạo bởi sự kiện bạn chọn, đến từ người dùng cài ứng dụng trong khung thời gian bạn chọn.	`Tổng doanh thu của sự kiện / số lần sự kiện được kích hoạt`	`average_revenue_per_event`
Doanh thu tăng tiến	Doanh thu bổ sung, dựa trên kết quả so sánh với nhóm đối chứng	`(Giá trị tăng tiến thực tế - giá trị tăng tiến trung bình) * Doanh thu trung bình trên mỗi sự kiện`	`incremental_revenue`
ROAS tăng tiến	Lợi tức trên chi phí quảng cáo (ROAS), được tính dựa trên doanh thu in-app, trong một khung thời gian cohort cụ thể	-	`incremental_roas`

Diễn giải kết quả

Sau khi chạy kiểm thử tăng tiến (incrementality test) trên InSight, và thấy trạng thái kiểm thử chuyển thành Hoàn tất , bạn có thể xem kết quả kiểm thử.

Hành động marketing	Kết quả	Diễn giải	Đề xuất
Khởi chạy chiến dịch mới hoặc thêm mạng quảng cáo mới.	Tích cực Tất cả: Lift Tự nhiên: Lift	Chiến dịch tiếp tục mang lại kết quả tốt, bạn có thể cân nhắc đầu tư thêm. Hành động marketing này không chỉ làm tăng tổng số lượt cài đặt – cao hơn tổng số lượt cài đặt có thể nhận được nếu không khởi chạy chiến dịch – mà còn làm tăng số lượt cài đặt tự nhiên.	Duy trì triển khai chiến dịch. Tăng ngân sách chi cho chiến dịch này.
Tăng ngân sách chi cho chiến dịch hoặc mạng quảng cáo.	Hỗn hợp Tất cả: Lift Tự nhiên: Loss	Chiến dịch tiếp tục mang lại kết quả tốt, nhưng đang có tình trạng tự tước đoạt doanh thu do chọn phương pháp phân bổ là lượt click cuối cùng.	Tăng ngân sách chi cho chiến dịch, nhưng rút ngắn khung thời gian phân bổ.
Ngừng chiến dịch đang chạy hoặc xóa mạng quảng cáo đang dùng	Tích cực Tất cả: Lift Tự nhiên: Lift	Sau khi ngừng chiến dịch, cả hai chỉ số Tất cả lượt cài đặt và Lượt cài đặt tự nhiên đều tăng, chứng tỏ chiến dịch hoạt động không hiệu quả.	An tâm rằng bạn đã đúng khi ngừng chiến dịch này. Cân nhắc chuyển ngân sách sang cho chiến dịch khác. Chuyển ngân sách sang cho chiến dịch khác.
Giảm ngân sách phân bổ cho chiến dịch hoặc mạng quảng cáo	Tiêu cực Tất cả: Loss Tự nhiên: Loss	Sau khi giảm ngân sách chi cho chiến dịch này, chỉ số Tất cả lượt cài đặt thì giảm còn Lượt cài đặt tự nhiên thì tăng, cho thấy chiến dịch có tiềm năng thành công, giúp tăng số lượt cài đặt nói chung.	Chạy thêm một đợt kiểm thử cho chiến dịch này nhưng với ngân sách ít hơn, để xác nhận có đúng hiệu ứng là Lift hay không.