Diễn giải kết quả kiểm thử InSight
Sau khi đợt kiểm thử chạy xong, để xem kết quả đợt kiểm thử, mở danh sách tất cả đợt kiểm thử và chọn đợt kiểm thử bạn muốn xem. Tại trang kết quả, bạn có thể xem tác động của hành động marketing lên chỉ số mục tiêu, cũng như phân tích các thông tin sau:
- Tóm tắt kết quả.
- Thông tin giúp bạn diễn giải kết quả và đề xuất cho bước tiếp theo.
- Kết quả phân tích chỉ số.
Để giúp bạn hiểu hơn về kết quả kiểm thử, Adjust cung cấp mục thông tin hữu dụng . Ở mỗi đợt kiểm thử, Adjust cung cấp Thông tin chi tiết liên quan đến tác động của hành động marketing, hỗ trợ bạn diễn giải kết quả kiểm thử hiệu quả hơn. Adjust có thêm phần Đề xuất , cung cấp gợi ý thiết thực về bước tiếp theo dựa trên kết quả kiểm thử.
Ví dụ, bạn vừa chạy xong một đợt kiểm thử InSight để đánh giá tác động của chiến dịch mới triển khai, rằng liệu chiến dịch mới này có mang đến hiệu ứng tăng tiến (incremental lift) cho tất cả lưu lượng truy cập và lưu lượng truy cập tự nhiên hay không.
Ở kết quả kiểm thử InSight, bạn có thể xem chi tiết những việc đã xảy ra khi thực hiện hành động marketing. Ví dụ: bạn có thể đánh giá hiệu ứng tăng (incremental effect) của chiến dịch, biết được số lượt cài đặt ( tất cả lượt cài đặt và lượt cài đặt tự nhiên ) tăng hay giảm, hay liệu có xảy ra tình trạng tước đoạt lưu lượng truy cập tự nhiên (organic cannibalization) hay không. Các thông tin này giúp bạn đánh giá hiệu quả thực sự của chiến dịch.
Adjust còn cung cấp thêm phần Đề xuất dựa trên kết quả kiểm thử. Nếu chiến dịch của bạn làm tăng có ý nghĩa thống kê tất cả lượt cài đặt, nhưng lại gây ra tình trạng tước đoạt lưu lượng truy cập tự nhiên , thì Adjust có thể sẽ đề xuất tăng ngân sách cho chiến dịch, song song rút ngắn khung thời gian phân bổ. Qua thông tin hữu dụng và đề xuất, Adjust hy vọng có thể giúp bạn có căn cứ ra quyết định cho bước tiếp theo cũng như điều chỉnh chiến lược marketing một cách hiệu quả.
Thuật ngữ
Trang kết quả sử dụng các thuật ngữ sau để mô tả kết quả kiểm thử.
- Incremental Lift
- Chiến dịch có tác động tích cực lên chỉ số mục tiêu; tác động này sẽ không xảy ra nếu bạn không triển khai chiến dịch.
- Loss
- Chiến dịch có tác động tiêu cực lên chỉ số mục tiêu; tác động này sẽ không xảy ra nếu bạn không triển khai chiến dịch.
- Organic Cannibalization
- Sự kiện/lượt cài đặt đáng lẽ sẽ xảy ra nếu bạn không thực hiện hành động marketing. Dữ liệu này chỉ xuất hiện trong trường hợp bạn chọn đo lường hành động Chiến dịch bắt đầu hoặc Tăng ngân sách .
- Giá trị tuyệt đối của hiệu ứng tăng
- Tác động của hành động marketing lên giá trị của chỉ số trong khoảng thời gian kiểm thử. Tác động được đo lường bằng cách so sánh mức chênh lệch giữa giá trị thực của chỉ số sau khi thực hiện hành động và giá trị dự đoán của chỉ số nếu không thực hiện hành động; mức chênh lệch được đo hằng ngày, sau đó tính trung bình. Giá trị tuyệt đối được tính bằng công thức sau:
average actual value - average predicted value
. - Tỷ lệ phần trăm của hiệu ứng tăng
- Tác động của hành động marketing lên giá trị của chỉ số mục tiêu (được thể hiện dưới dạng phần trăm). Tác động được đo lường bằng cách so sánh mức chênh lệch giữa giá trị dự đoán của chỉ số nếu không thực hiện hành động và giá trị thực của chỉ số sau khi thực hiện hành động; mức chênh lệch được đo hằng ngày, sau đó tính trung bình.
- MAPE (Hiệu suất mô hình)
- Giá trị sai số phần trăm tuyệt đối trung bình (MAPE) cho biết sự khác biệt trung bình giữa giá trị thực tế của chỉ số mục tiêu trong kỳ trước và giá trị dự đoán do mô hình cung cấp. Kết quả phần trăm càng thấp thì độ chính xác của mô hình càng cao. Cụ thể, giá trị dưới 10% thì dự đoán có độ chính xác cao , giá trị từ 10 đến 20% thì độ chính xác trung bình , giá trị trên 20% thì độ chính xác thấp.
- Giá trị P (Ý nghĩa thống kê)
- Giá trị P (giá trị xác suất) cho biết phần trăm khả năng giá trị bạn nhận được là do yếu tố ngẫu nhiên gây ra. Giá trị P thấp thì nhiều khả năng hành động marketing của bạn có tác động trực tiếp đến chỉ số mục tiêu; ngược lại, giá trị P cao thì nhiều khả năng giá trị chỉ số mục tiêu bạn nhận được là kết quả tác động của những thay đổi khác. Giá trị P nhỏ hơn 0,05 nghĩa là hành động marketing của bạn tạo ra tác động ý nghĩa thống kê .
Giá trị P = 0,01
- Giá trị P bằng 0,01 nghĩa là, có 1% khả năng hiệu ứng quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra. Đây là bằng chứng cho thấy hành động marketing của bạn tạo ra tác động có ý nghĩa về mặt thống kê.
Giá trị P = 0,2
- Giá trị P bằng 0,2 nghĩa là, có 20% khả năng hiệu quả quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra, không phải do hành động marketing mà bạn thực hiện. Kết quả này cho thấy hành động marketing của bạn có thể đã tạo ra tác động, nhưng bằng chứng này không đủ chắc chắn, cần có thêm dữ liệu hoặc tiến hành phân tích chuyên sâu.
Giá trị P = 0,5
- Giá trị P bằng 0,5 nghĩa là, có 50% khả năng hiệu quả quan sát được trên số liệu là do các yếu tố ngẫu nhiên gây ra, hay nói cách khác, không có bằng chứng nào cho thấy hành động marketing của bạn có tạo ra tác động lên chỉ số mục tiêu.
Thông tin hữu dụng
Tại màn hình kết quả, bạn có thể phân tích kết quả của Tất cả lượt cài đặt và Lượt cài đặt tự nhiên thông qua 5 mục bao quát toàn bộ khía cạnh của kiểm thử tăng tiến.
Thanh ứng dụng
- Xác định những khía cạnh chính của kiểm thử tăng tiến
- Hành động: Hành động marketing được chọn để kiểm thử
- Chiến dịch: Tên của chiến dịch được chọn để kiểm thử
- Quốc gia: Tên của quốc gia được chọn để kiểm thử
- Kênh: Kênh được chọn để kiểm thử
- Sau thời điểm thực hiện hành động: Khung thời gian được chọn để phân tích kết quả kiểm thử tăng tiến
- Chỉ số: Chỉ số bạn muốn đo lường
- Hiệu suất: Đánh giá độ đáng tin của mô hình
- Ý nghĩa thống kê: Cho biết sự biến động của dữ liệu có nằm trong khoảng dự đoán hay không.
- Nếu kết quả thực nằm trong phạm vi dự đoán, thì kết quả không có ý nghĩa thống kê.
- Nếu kết quả thực nằm ngoài phạm vi dự đoán, thì kết quả có ý nghĩa thông kê.
Phản ứng
- Kết quả của đợt kiểm thử: Cho biết hành động marketing có tác động Tích cực (Positive) , Hỗn hợp (Mixed) hay Tiêu cực (Negative) lên chiến dịch.
- Cho biết hành động và tác động của hành động marketing.
- Đề xuất bước tiếp theo dựa trên kết quả kiểm thử
Adjust tính kết quả của đợt kiểm thử bằng cách đo tác động của hành động marketing lên chỉ số mục tiêu trong hai trường hợp: xem xét tất cả lưu lượng truy cập và chỉ xem xét lưu lượng truy cập tự nhiên. Bảng dưới đây là cách tính từng kết quả.
Hành động marketing | Tác động lên chỉ số – tất cả lưu lượng truy cập | Tác động lên chỉ số – lưu lượng truy cập tự nhiên | Kết quả InSight |
---|---|---|---|
Chiến dịch bắt đầu | Lift | Lift | Positive |
Chiến dịch bắt đầu | Lift | Loss | Mixed |
Chiến dịch bắt đầu | Loss | Lift | Mixed |
Chiến dịch bắt đầu | Loss | Loss | Negative |
Tăng ngân sách | Lift | Lift | Positive |
Tăng ngân sách | Lift | Loss | Mixed |
Tăng ngân sách | Loss | Lift | Mixed |
Tăng ngân sách | Loss | Loss | Mixed |
Chiến dịch ngừng | Lift | Lift | Mixed |
Chiến dịch ngừng | Lift | Loss | Mixed |
Chiến dịch ngừng | Loss | Lift | Mixed |
Chiến dịch ngừng | Loss | Loss | Positive |
Giảm ngân sách | Lift | Lift | Negative |
Giảm ngân sách | Lift | Loss | Mixed |
Giảm ngân sách | Loss | Lift | Mixed |
Giảm ngân sách | Loss | Loss | Positive |
Hiệu ứng tăng (Incremental effect)
- Hai biểu đồ trên cùng cho biết tác động trung bình ngày, biểu diễn ở dạng giá trị phần trăm và giá trị tuyệt đối cho cả hai mục tiêu là tất cả lượt cài đặt và lượt cài đặt tự nhiên
- Biểu đồ so sánh giá trị thực (đường nét liền) với giá trị dự đoán (đường nét đứt) theo trung bình ngày.
Đối với mỗi đợt kiểm thử, InSight tóm tắt hiệu ứng tăng tiến của hành động marketing đối với chỉ số mục tiêu trong khoảng thời gian kiểm thử. Dưới đây là các thông tin tóm tắt cho từng chỉ số:
Các chỉ số chuyên biệt cho kiểm thử InSight cũng có trong Datascape và Report Service API. Tham khảo bài viết chỉ số Datascape để xem danh sách đầy đủ các chỉ số Datascape.
Định nghĩa | Công thức | Chỉ số API ID | |
---|---|---|---|
Doanh thu trung bình trên mỗi sự kiện | Doanh thu trung bình, tạo bởi sự kiện bạn chọn, đến từ người dùng cài ứng dụng trong khung thời gian bạn chọn. | Tổng doanh thu của sự kiện / số lần sự kiện được kích hoạt | average_revenue_per_event |
Doanh thu tăng tiến | Doanh thu bổ sung, dựa trên kết quả so sánh với nhóm đối chứng | (Giá trị tăng tiến thực tế - giá trị tăng tiến trung bình) * Doanh thu trung bình trên mỗi sự kiện | incremental_revenue |
ROAS tăng tiến | Lợi tức trên chi phí quảng cáo (ROAS), được tính dựa trên doanh thu in-app, trong một khung thời gian cohort cụ thể | - | incremental_roas |
Hiệu ứng tăng theo thời gian
Tất cả lượt cài đặt với tác động của hành động
Lượt cài đặt tự nhiên với tác động của hành động
Biểu đồ cho biết kết quả trước và sau khi thực hiện hành động
- Kết quả 'sau thời điểm thực hiện hành động' nhấn mạnh khoảng dự đoán và cho biết giá trị dự đoán và giá trị thực tế nằm ở đâu
Lưu ý rằng bạn có thể chọn "Chỉ hiển thị sau ngày hành động" để tách riêng dữ liệu sau khi thực hiện hành động marketing
Dữ liệu nâng cao
Mục Dữ liệu nâng cao cung cấp thông tin chi tiết về các chỉ số chính trong đợt kiểm thử InSight. Chọn xem tất cả lưu lượng truy cập hoặc lưu lượng truy cập tự nhiên , sau đó chọn biểu tượng dấu cộng để xem giá trị chỉ số trước và sau thực hiện hành động marketing, để biết chính xác tác động của hành động đó lên chiến dịch.
Nếu hành động của bạn ở dạng chiến dịch, bạn sẽ thấy các thông tin sau:
- Lượt cài đặt (Phân bổ)
- Lượt cài đặt (SKAN)
- CPI (tất cả)
- Tổng phiên truy cập
- Chi phí quảng cáo