Cómo interpretar los resultados de tus pruebas de InSight

Cuando se termine de ejecutar tu prueba, puedes dirigirte a la página de resultados de InSight para ver el impacto de tu acción de marketing en la métrica que elegiste como objetivo. La pantalla de resultados de InSight muestra la siguiente información sobre tu prueba:

Una descripción general de los resultados.
Información práctica que te ayuda a interpretar los resultados y te brinda sugerencias para los siguientes pasos.
Un desglose granular de las métricas clave.

Glosario de términos

Los siguientes términos se utilizan en la página de resultados de InSight y en este documento para describir los resultados de las pruebas.

Aumento incremental: Tu campaña tuvo un efecto positivo en la métrica objetivo, el cual no se hubiera presentado si no hubieras ejecutado la campaña.
Pérdida: Tu campaña tuvo un efecto negativo en la métrica objetivo, el cual no se hubiera presentado si no hubieras ejecutado la campaña.
Canibalización de actividades orgánicas: Eventos/instalaciones que se hubieran presentado aunque no se hubiera realizado la acción de marketing. Los datos de canibalización orgánica únicamente están disponibles cuando mides el inicio de la campaña o el aumento del presupuesto.
Valor absoluto del efecto incremental: El efecto de tu acción sobre el valor de la métrica durante todo el período de testeo. Esto se mide al comparar el promedio diario de diferencia entre el valor real con la acción y el valor promedio pronosticado de la métrica sin la acción. El valor absoluto se calcula con la siguiente fórmula: average actual value - average predicted value.
Porcentaje de efecto incremental: El efecto de tu acción sobre la métrica objetivo en forma de porcentaje. Esto se mide al comparar el promedio diario de diferencia entre el valor pronosticado de la métrica sin la acción y el valor real con la acción.
MAPE: El valor del error de porcentaje medio absoluto (MAPE) mide la diferencia promedio entre los valores reales de tu métrica objetivo durante el período previo y los valores pronosticados producidos por el modelo. Entre menor sea el porcentaje de diferencia entre estos valores, más preciso será el modelo. Si el valor es de menos del 10%, su nivel de precisión es alto; si es del 10 al 20%, su nivel de precisión es medio; y si es de más del 20%, su nivel de precisión es bajo.
Valor p: El valor p (valor de probabilidad) representa la probabilidad de que tus resultados se hayan presentado por casualidad. Si el valor p es menor, esto indica que existe una mayor probabilidad de que tu acción de marketing haya tenido un efecto directo en tu métrica objetivo, mientras que un valor p más alto indica que existe una mayor probabilidad de que tus resultados se hayan presentado a causa de otros cambios. Si el valor es menor que 0,05, esto indica que la acción medida tuvo un impacto significativo.

Valor p 0,01
- Si el valor p es de 0,01, esto indica que existe un 1% de probabilidad de que el efecto observado se pueda haber presentado por casualidad. Esto se considera como evidencia sólida de que tu acción de marketing tuvo un impacto significativo.
Valor p 0,2
- Si el valor p es de 0,2, esto indica que existe un 20% de probabilidad de que el efecto observado se pueda deber a algunas fluctuaciones aleatorias, en lugar de ser un efecto directo de tu acción de marketing. Esto sugiere que tu acción de marketing puede haber generado un impacto, pero la evidencia no es lo suficientemente sólida como para saberlo con seguridad, por lo que se necesitan más datos o análisis.
Valor p 0,5
- Si el valor p es de 0,5, esto indica que existe un 50% de probabilidad de que los efectos observados se hayan presentado por casualidad, lo que sugiere que no hay evidencia de que tu acción de marketing haya tenido ningún impacto significativo sobre la métrica objetivo.

Resultados reales y pronosticados

Descripción general de los resultados de InSight

La pantalla de resultados te permite analizar los resultados de todo el tráfico y del tráfico orgánico. Puedes seleccionar las pestañas Todo y Orgánico para alternar entre estas vistas.

La pantalla de resultados muestra la siguiente información:

El resultado de la prueba: indica si una acción de marketing tuvo un impacto positivo, mixto o negativo en tu campaña.
Acción: la acción de marketing que seleccionaste para la prueba.
Métrica: la métrica que elegiste para medir.
Efecto incremental: la diferencia entre lo que InSight pronosticó y lo que sucedió en realidad durante el período de medición que seleccionaste.
MAPE: el valor de error de porcentaje medio absoluto.
Rendimiento del modelo: el nivel de confiabilidad del modelo.
Valor p: el valor p de tu acción.
Nivel de importancia de la acción: indica si el cambio estuvo dentro del rango de los pronósticos de InSight (representados por el área de color morado en el gráfico).
- Si el resultado real cae dentro del rango del pronóstico, se considera como no significativo.
- Si el resultado cae fuera del rango del pronóstico, se considera como significativo.

Nuestro sistema calcula el resultado de una prueba al medir el impacto de tu acción de marketing sobre la métrica que elegiste como objetivo para todo el tráfico y para el tráfico orgánico. La siguiente tabla muestra cómo se calcula cada resultado.

Acción de marketing	Impacto en la métrica para todo el tráfico	Impacto en la métrica para el tráfico orgánico	Resultado de InSight
Inicio de la campaña	Aumento	Aumento	Positivo
Inicio de la campaña	Aumento	Pérdida	Mixto
Inicio de la campaña	Pérdida	Aumento	Mixto
Inicio de la campaña	Pérdida	Pérdida	Negativo
Aumento del presupuesto	Aumento	Aumento	Positivo
Aumento del presupuesto	Aumento	Pérdida	Mixto
Aumento del presupuesto	Pérdida	Aumento	Mixto
Aumento del presupuesto	Pérdida	Pérdida	Mixto
Detener campaña	Aumento	Aumento	Mixto
Detener campaña	Aumento	Pérdida	Mixto
Detener campaña	Pérdida	Aumento	Mixto
Detener campaña	Pérdida	Pérdida	Positivo
Disminución del presupuesto	Aumento	Aumento	Negativo
Disminución del presupuesto	Aumento	Pérdida	Mixto
Disminución del presupuesto	Pérdida	Aumento	Mixto
Disminución del presupuesto	Pérdida	Pérdida	Positivo

Información práctica

Nuestro sistema te proporciona información práctica para ayudarte a entender los resultados de tus pruebas. Después de cada prueba, nuestro sistema te muestra una serie de detalles sobre lo que sucedió cuando realizaste tus acciones de marketing a fin de ayudarte a interpretar los resultados de tu prueba, así como algunas recomendaciones que te brindan asesoría práctica sobre lo que debes hacer a continuación con base en los resultados de la prueba.

Por ejemplo, digamos que ejecutaste una prueba de InSight para evaluar el impacto de una campaña que acabas de lanzar y determinar si generó el aumento incremental deseado en todo el tráfico y en el tráfico orgánico.

En tu prueba de InSight, puedes ver la información detallada sobre lo que ocurrió cuando realizaste tus acciones de marketing. Por ejemplo, puedes evaluar el efecto incremental de la campaña y determinar si todas las instalaciones y las instalaciones orgánicas aumentaron o disminuyeron, o si se presentó una canibalización orgánica. Esta información te ayuda a evaluar la efectividad de tu campaña.

Además, nuestro sistema te ofrece recomendaciones basadas en los resultados de la prueba. Si tu campaña generó un aumento significativo en todas las instalaciones, pero también provocó una canibalización orgánica, nuestro sistema podría sugerir que aumentes tu presupuesto para esta campaña y reduzcas al mismo tiempo tus ventanas de atribución. Al combinar los resultados detallados con las recomendaciones prácticas, en Adjust te ayudamos a tomar decisiones mejor informadas y a perfeccionar tus estrategias de marketing de manera efectiva.

Datos avanzados

La sección Datos avanzados muestra un desglose de las métricas clave relacionadas con tu prueba de InSight. Tanto para todo el tráfico como para el tráfico orgánico, puedes seleccionar el ícono + para mostrar los valores de cada métrica antes y después de que realizaras la acción de marketing que seleccionaste, lo que te permite determinar cuál fue su impacto exacto sobre tu campaña. Puedes ver un resumen de estas diferencias en la fila Diferencias, debajo de cada tipo de tráfico.

Para cada prueba, InSight muestra un resumen del efecto incremental que tuvo tu acción de marketing sobre la métrica que elegiste como objetivo durante el período de la prueba. Esta información aparece resumida en las siguientes métricas:

Valor absoluto del efecto incremental: la diferencia promedio diaria entre lo que InSight pronosticó y lo que sucedió en realidad durante el período de medición que seleccionaste.
Porcentaje de efecto incremental: la diferencia promedio diaria entre lo que InSight pronosticó y lo que sucedió en realidad durante el período de medición que seleccionaste, expresada en forma de porcentaje.

Las siguientes métricas específicas de InSight también están disponibles en Datascape y en la API del servicio de informes. Consulta el artículo sobre las métricas de Datascape para ver la lista de todas las métricas de Datascape.

	Definición	Fórmula	ID de API de la métrica
Promedio de ingresos por evento	Promedio de ingresos generados por el evento seleccionado, entre los usuarios que instalaron tu aplicación, dentro del período seleccionado	`Total revenue of event / number of times the event was triggered`	`average_revenue_per_event`
Ingresos incrementales	Ingresos adicionales generados en comparación con un grupo de control	`(Actual incremental value - mean incremental value) * Average revenue per event`	`incremental_revenue`
ROAS incremental	Retorno del gasto en publicidad (ROAS), calculado únicamente con los ingresos in-app durante un período de cohorte seleccionado	-	`incremental_roas`

Cómo interpretar tus resultados

Cuando ejecutas una prueba de incrementalidad de InSight y su estado cambia a Completada, esto quiere decir que ya puedes revisar sus resultados.

Acción de marketing	Resultado	Interpretación	Recomendación
Iniciar una nueva campaña o agregar una nueva red	Positivo Todo: Aumento Orgánico: Aumento	Esta campaña ha continuado con un buen rendimiento, por lo que se recomienda aumentar la inversión. No solo aumentó las instalaciones totales más allá de lo que se hubiera logrado sin la campaña, sino que también aumentó las instalaciones orgánicas.	Continúa con esta campaña. Aumenta tu presupuesto para esta campaña.
Aumentar el presupuesto de una campaña o red	Mixto Todo: Aumento Orgánico: Pérdida	Esta campaña continuó con un buen rendimiento, pero se presentó cierto nivel de canibalización orgánica debido a la atribución del último clic.	Aumenta tu presupuesto para esta campaña, pero reduce las ventanas de atribución.
Detener una campaña o eliminar una red existentes	Positivo Todo: Aumento Orgánico: Aumento	Cuando se detuvo esta campaña, se registraron aumentos en todas las instalaciones y en las instalaciones orgánicas, lo que confirmó que la campaña no fue eficaz.	Puedes tener la seguridad de que detener esta campaña con un rendimiento menor al esperado fue la mejor decisión. Se recomienda reasignar el presupuesto a otra campaña. Reasigna tu presupuesto a otra campaña.
Reducir el presupuesto de una campaña o red	Negativo Todo: Pérdida Orgánico: Pérdida	Cuando se disminuyó el presupuesto para esta campaña, todas las instalaciones disminuyeron y las instalaciones orgánicas aumentaron, lo que sugiere que esta puede haber sido una campaña exitosa para impulsar las instalaciones en general.	Ejecuta otra prueba con un presupuesto pequeño para esta campaña a fin de determinar si se presenta un aumento.