Интерпретируйте результаты теста InSight

После завершения теста вы можете перейти на страницу результатов InSight и посмотреть, какое влияние оказало ваше маркетинговое действие на целевую метрику. На экране результатов InSight отображается следующая информация о тесте:

Обзор результатов.
Практические знания, которые помогут интерпретировать результаты и определить дальнейшие действия.
Детальная разбивка ключевых метрик.

Глоссарий терминов

На странице результатов InSight и в этом документе для описания результатов тестирования используются приведенные здесь термины.

Срок действия	Значение
Инкрементальный подъем	Кампания оказала положительное влияние на целевую метрику. Если бы кампания не была запущена, этого эффекта не было бы.
Потери	Кампания оказала негативное влияние на целевую метрику. Если бы кампания не была запущена, этого эффекта не было бы.
Органическая каннибализация (перебиванию)	События/установки, которые могли произойти без проведения маркетингового действия. Данные о каннибализации (перебивания) органического трафика доступны только при измерении показателей Запуск кампанииили Увеличение бюджета.
Абсолютное значение инкрементного влияния	Влияние вашего действия на значение метрики за весь период тестирования. Измеряется путем сравнения средней ежедневной разницы между прогнозным значением метрики без действия и текущему значению с действием. Абсолютное значение рассчитывается по следующей формуле: `average actual value - average predicted value`
Процент инкрементного влияния	Влияние вашего действия на метрику в процентах. Измеряется путем сравнения средней ежедневной разницы между прогнозным значением метрики без действия и текущему значению с действием.
P-значение	P-значение позволяет определить статистическую значимость вашего действия и его влияние на результат. Значение менее 0,05 означает, что действие оказало заметный эффект. Значение выше 0,05 означает, что действие не оказало эффекта.
MAPE	Эффективность модели измеряется по среднему абсолютному модулю ошибки в процентах (MAPE). Чем ниже его значение, тем более точным будет предсказание. Значение ниже 10% является высоким, от 10% до 20% — средним, а выше 20% — низким.

Фактические и прогнозируемые результаты

Экран результатов позволяет анализировать результаты для всего трафика и для органического трафика. Переключайтесь между этими представлениями, выбирая вкладки «Весь» и «Органический».

На экране результатов отображается следующая информация:

Результаты теста: оказало ли маркетинговое действие положительное , смешанное или отрицательное влияние на кампанию.
Действие : маркетинговое действие, выбранное для теста.
Метрика : метрика, выбранная вами для измерения.
Инкрементальное влияние : разница между прогнозируемыми InSight событиями и тем, что произошло на самом деле, в течение выбранного периода измерений.
MAPE : значение средней абсолютной ошибки в процентах (MAPE)
Эффективность модели : насколько надежна модель.
P-значение : P-значение действия.
Значимость действия : находится ли изменение в пределах прогнозируемых InSight значений (представлено фиолетовой областью на графике).
- Если фактические результаты находятся в пределах прогнозируемого диапазона, то результат незначителен.
- Если результат выходит за пределы прогнозируемого диапазона, результат является значимым.

Adjust рассчитывает результат теста, измеряя влияние маркетинговых действий на целевую метрику для всего трафика и для органического трафика. В таблице ниже представлены расчеты каждого результата.

Маркетинговое действие	Влияние на метрику для всего трафика	Влияние на метрику для органического трафика	Результат InSight
Начало кампании	Рост	Рост	Положительное
Начало кампании	Рост	Потери	Смешанное
Начало кампании	Потери	Рост	Смешанное
Начало кампании	Потери	Потери	Отрицательное
Увеличение бюджета	Рост	Рост	Положительное
Увеличение бюджета	Рост	Потери	Смешанное
Увеличение бюджета	Потери	Рост	Смешанное
Увеличение бюджета	Потери	Потери	Смешанное
Остановка кампании	Рост	Рост	Смешанное
Остановка кампании	Рост	Потери	Смешанное
Остановка кампании	Потери	Рост	Смешанное
Остановка кампании	Потери	Потери	Положительное
Уменьшение бюджета	Рост	Рост	Отрицательное
Уменьшение бюджета	Рост	Потери	Смешанное
Уменьшение бюджета	Потери	Рост	Смешанное
Уменьшение бюджета	Потери	Потери	Положительное

Практические знания

Чтобы помочь вам разобраться в результатах тестирования, Adjust предоставляет функцию Практические знания . Для каждого теста Adjust отображает подробную информацию о событиях, произошедших во время выполнения маркетинговых действий, чтобы помочь вам интерпретировать результаты теста, а также рекомендации , которые содержат практические советы о дальнейших действиях, основанные на результатах теста.

Представим, что вы запустили тест InSight, чтобы оценить влияние недавно запущенной кампании и определить, достигнут ли желаемый инкрементальный рост общего и органического трафика.

В тесте InSight представлена подробная информация о происходящих событиях во время выполнения маркетинговых действий. Например, вы можете оценить инкрементальный эффект кампании и определить, увеличилось или уменьшилось количество всех и органических установок или произошла ли органическая каннибализация . Эти данные позволяют оценить эффективность кампании.

Кроме того, Adjust предоставляет рекомендации , основанные на результатах тестирования. Если в результате проведения кампании значительно увеличилось количество всех установок, но при этом произошла органическая каннибализация , Adjust может предложить увеличить бюджет на эту кампанию, одновременно сократив окна атрибуции. Сочетая подробные результаты с практическими рекомендациями, Adjust позволяет принимать обоснованные решения и эффективно совершенствовать маркетинговые стратегии.

Расширенные данные

В разделе Расширенные данные показаны основные метрики, связанные с тестом InSight. Для всего и органического трафика вы можете нажать на значок плюса, чтобы отобразить значения каждой метрики до и после выбранного маркетингового действия для точного понимания того, какое влияние оказало маркетинговое действие на проводимую кампанию. Эти различия обобщены в строке Различия под каждым типом трафика.

Для каждого теста InSight отображает сводную информацию об инкрементном влиянии маркетинговых действий на целевую метрику в течение тестового периода. Это отражено в следующих метриках:

Абсолютное значение инкрементного влияния : среднесуточная разница между прогнозируемыми InSight событиями и тем, что произошло на самом деле в течение выбранного периода измерений.
Процент инкрементного влияния : среднесуточная разница между прогнозируемым InSight и фактически произошедшим за выбранный период измерений, выраженная в процентах.

Приведенные здесь метрики, специфичные для InSight, также доступны в Datascape и в API службы отчетов. Полный список метрик Datascape см. в разделе Метрики Datascape.

	Определение	Формула	Идентификатор метрики API
Средний доход на одно событие	Средний доход на выбранное событие, сгенерированный от пользователей, установивших ваше приложение в выбранный вами период времени	`Общий доход события / количество срабатывания триггеров для события`	`average_revenue_per_event`
Инкрементальный доход	Дополнительный сгенерированный доход в сравнении с контрольной группой	`(Фактическое значение приращения – среднее значение приращения) * средний доход на одно событие`	`incremental_revenue`
Инкрементальный ROAS	Возврат от рекламных расходов, рассчитанный с использованием только дохода в приложении за выбранный период когорты	-	`incremental_roas`

Проинтерпретируйте результаты

После запуска теста на инкрементальность через InSight и изменения его статуса на Завершено вы можете просмотреть результаты этого теста.

Маркетинговое действие	Результат	Интерпретация	Рекомендация
Запуск новой кампании или создание новой сети	Положительный Весь: рост Органический: рост	Эта кампания продолжает демонстрировать хорошие результаты, и следует рассмотреть возможность дальнейших инвестиций. В результате не только увеличилось общее количество установок по сравнению с тем, что было бы без этой кампании, но и возросло количество органических установок.	Продолжайте проведение этой кампании. Увеличьте бюджет на эту кампанию.
Увеличение бюджета кампании или сети	Смешанный Весь: рост Органический: потери	Эта кампания продолжала показывать положительные результаты, но из-за атрибуции по последнему клику произошла некоторая органическая каннибализация.	Увеличьте бюджет на эту кампанию, но уменьшите окна атрибуции.
Остановка существующей кампании или удаление существующей сети	Положительный Весь: рост Органический: рост	После прекращения этой кампании увеличилось количество как всех установок , так и органических установок, что подтверждает неэффективность кампании.	Не сомневайтесь в том, что остановка этой малоэффективной кампании была правильным решением. Рассмотрите возможность перераспределения бюджета на другую кампанию. Перераспределите бюджет на другую кампанию.
Сокращение бюджета кампании или сети	Отрицательный Весь: потери Органический: потери	При уменьшении бюджета на эту кампанию количество всех установок снизилось, а количество органических установок увеличилось. Это свидетельствует о том, что данная кампания была успешной и способствовала общему количеству установок.	Проведите еще один тест с небольшим бюджетом для этой кампании, чтобы определить, наблюдается ли рост.