Cómo estimar el impacto de las acciones realizadas gracias a los datos

Un buen análisis solo tiene un fin: generar un cambio en el negocio. De nada sirve presentar muchísimos datos y que no pase nada. Por eso, los datos tienen que estar acompañados siempre de buenos insights. Pero, ¿qué pasa después de presentar nuestras recomendaciones? Si se llevan a cabo, ¿siempre resultan positivas? En caso de que veamos una mejoría en los datos, ¿se mejora y ya está? ¿O podemos estimar el impacto de los cambios? Para eso estamos hoy aquí. Hablemos de impacto.

La importancia de dar valor a lo que hacemos

Lo primero de todo es comentar por qué es importante el impacto. En mi opinión, es un gran paso para los analistas poder dar valor a aquello que hacemos. Estimar el impacto de las acciones que recomendamos ayudará a dar sentido a lo que hacemos y entender el poder de los datos de una forma muy práctica.

“Gracias a la detección de esta incidencia se han recuperado X operaciones a la semana” o incluso “se han dejado de perder X mil euros” será una forma tangible de poner en valor nuestro trabajo. Y hacerlo es posible.

El mundo ideal: llevar a cabo las mejoras mediante test A/B

Partamos de la base de que hemos hecho un análisis y ha generado diversos insights. Que los hemos presentado priorizados por el posible impacto que puedan tener y por su facilidad / complejidad, y que el PO de turno ha elegido llevar a cabo una de las mejoras propuestas. ¿Cuál sería la opción ideal? Sin duda, plantear estos cambios sobre un test A/B. 

Teniendo en cuenta que la mayoría de los insights se basan en hipótesis, hacer las posibles mejoras sobre el total de usuarios sería un error. Porque por muy convencidos que estemos de que todos los datos apuntan a que la mejora incrementará la conversión, puede que no sea así. Y como se dice comúnmente, mejor prevenir que curar. Si la recomendación, ya implementada en un test A/B, no es tan buena como creíamos y los datos de la nueva versión van perdiendo, se puede incluso parar esta prueba.

Además, la fuerza del test A/B reside en que aísla otros posibles factores que influyen en la conversión en el periodo del cambio, con lo que también nos da la certeza de que la mejora ha sido gracias a nuestra recomendación. 

Hagamos cálculos y tengamos confianza estadística

Es importante tener en cuenta también que nuestros cambios deben tener confianza estadística. Para ello, Adobe Target provee de una herramienta donde si incluimos el tráfico de la funcionalidad y la confianza estadística que requerimos (lo ideal es que sea de un mínimo del 90%), obtenemos como respuesta los días que debe durar el test y los volúmenes de muestra de cada una de las versiones.

La confianza mide de forma estadística la calidad de las conclusiones del test, por lo que es fundamental que sea elevada.

Otro punto importante es que calculemos siempre la mejora de la conversión hasta el final del funnel. Podemos mejorar la experiencia del usuario en un paso del proceso pero sin mejora en la conversión final, nunca podremos decir que ganamos más operaciones. Podríamos sin embargo hablar en otros términos como “se ha mejorado en un x% la conversión del paso y, mejorando la experiencia del usuario”.

Lo que también podemos aplicar es esta confianza estadística de los test a los cambios en producción. Para ello, nos aseguraremos de que los volúmenes de usuarios de los periodos que cogemos cuando analizamos un cambio en producción sean los que recomienda la herramienta de test.

La fórmula del impacto cuando mejoramos la conversión

Pero veamos la fórmula del impacto y su lógica, que no es complicada. En principio nos basaremos en una mejora de la conversión (más adelante veremos otras opciones, como el aumento del tráfico). Lo primero de todo es que se deben comparar dos periodos de igual número de días y la conversión debe mejorar. Además, cojamos un periodo donde el volumen sea suficiente para asegurar confianza estadística.

La idea es que apliquemos el porcentaje de conversión del periodo post mejora al tiempo en que la conversión era peor y al número resultante de ventas (que serían las ventas hipotéticas en caso de haber mostrado la experiencia “buena”) le restemos las que realmente tuvimos. Esa diferencia es el impacto potencial del cambio.

Pero lo mejor es verlo con un ejemplo. Imaginemos que hacemos un análisis y planteamos un cambio de diseño en una pantalla, que efectivamente mejora la conversión del flujo. Pongamos por ejemplo que el porcentaje de conversión hasta el final del proceso cambia de un 23% a un 23,5%. En el periodo donde la conversión era baja entraban 100K de usuarios.

Aplicando el ratio de conversión bueno a los usuarios del período “malo”, resultan 23.500; y restando de ese número las ventas que realmente se tuvieron (23.000) se obtienen 500 operaciones.

Para poder manejar esta mejora a nivel de día, deberíamos dividir las operaciones entre los días del “estudio”. Imaginemos que eran 20 días. Se ganarían 25 operaciones al día respecto a lo que teníamos antes. 

En función del discurso que queramos dar podemos mensualizar el impacto o incluso anualizarlo, ya que los cambios implementados se aplicarán desde ya generando valor al negocio. 

Todas las acciones que hacemos tienen impacto

Esta fórmula, llevada solo hasta las unidades, se podría aplicar a todo tipo de procesos, tanto si generan un beneficio económico como si no. Por poner otro ejemplo, imaginemos que solucionamos un problema de acceso a la app o web de un proyecto. Partimos de que normalmente entra un 80% de los usuarios y ese día solo entró un 40%. Teniendo 100K de usuarios, el impacto sería 80.000-40.000, un total de 40K de usuarios.

La forma de leerlo sería que el arreglo de esa incidencia supuso que 40K de usuarios pudieran entrar en la plataforma.

¿Y si proponemos una acción para mejorar el tráfico?

Toda acción que propongamos para incentivar el tráfico hacia un site (nuevos accesos a un proceso, campañas específicas para incentivar el uso, etc.) será una gran oportunidad de hacer crecer las finalizaciones sobre la tendencia que tenemos en los últimos meses.

Pero hay que tener en cuenta que no se pueden tomar como impacto todas las ventas de esa nueva vía porque esta podría haber “canibalizado” otros puntos de acceso. Por eso, lo ideal será estimar el impacto basándonos en la tendencia general de las ventas (las totales, de todos los accesos). Es decir comparar un periodo en que este acceso está implementado con otro que no, aislando otros posibles factores como puede ser la estacionalidad, y ver si se produce un total de las finalizaciones y en cuantas unidades se tasa.

Por poner un ejemplo también, consideremos que proponemos que desde el detalle de un producto se implemente un acceso a un servicio asociado. Pero ese servicio tiene otros puntos de llegada. Lo ideal sería ver cómo han evolucionado las finalizaciones totales, aislando posibles efectos de estacionalidad. Si consideramos que de una media de 3K se ha pasado a 4K, podríamos establecer que se mejora 1K de operaciones al mes.

Esta comparación hay que hacerla con sumo cuidado e incluso, para ser lo más exactos posibles, seguir monitorizando al futuro cómo se comporta el total de las operaciones registradas. Estamos hablando en todo caso de una estimación y por ello es fundamental explicar muy bien el razonamiento.

Los cambios aplicados en producción: reglas para estimar

En ocasiones, por temas del tráfico del flujo o porque las mejoras técnicamente no se pueden llevar mediante test A/B, las recomendaciones se aplican directamente a entornos de producción. Aunque no es lo recomendable, si estamos seguros de estos cambios, podemos monitorizar el cambio y estimar también su impacto.

Para ello, lo ideal es que además de comparar periodos de los mismos días, se intente evitar periodos de estacionalidad y que los días incluidos en el análisis sean más o menos los mismos. Es decir, que los periodos de comparación vayan de lunes a miércoles, por ejemplo. Así, evitaremos que la conversión varíe en función del día, ya que en ocasiones puede ser así.

Pero no hay nada como ver sobre el papel los datos del cambio. A partir de las modificaciones, debería verse con claridad un cambio también en los datos. Si no se observa con contundencia, soy partidaria de declarar el caso “no concluyente”. Ahí entra también el feeling del analista al observar las cifras y la honestidad de contar lo que ellas sugieren. Para mí una regla de oro es nunca forzar los datos. Es decir, sacar solo una conclusión cuando la data no ofrece duda.

Un paso más allá: la estimación económica

Una vez que contamos con las operaciones reales que nuestra acción ha generado, podemos, si contamos con un valor económico de cada operación, estimar económicamente el efecto de nuestro trabajo. Estos datos suelen proveerlos los equipos de Marketing y serán una palanca ideal para poder reportar el aporte de valor de los datos y propuestas de mejora asociadas.

Siguiendo con el ejemplo de la mejora de diseño de una pantalla, si generamos 25 ventas diarias más y el valor de cada una de ellas es pongamos 100 euros, estimamos que estamos generando 2.500 euros diarios de valor. O lo que es lo mismo 75K de euros mensuales. 

Conclusión: la estimación nos ayuda a mejorar

Una vez que conocemos la forma de estimar y entendemos que toda acción que recomendamos y se lleva a cabo tiene su valor muy definido, hago una reflexión. Estimando nuestras propuestas, además de dar valor a nuestro trabajo, los datos vuelven a situarnos y son la base para seguir impulsando cambios. La idea es siempre seguir iterando y mejorando los productos o servicios a los que damos soporte. Y tú, ¿también calculas el impacto de tus propuestas?