Los KPI´s y el efecto cobra

¿Son los KPI´s y OKR´s siempre un método fiable para alcancar nuestros objetivos?

Introducción

Desde la última vez que escribí por aquí he estado leyendo el libro Pensar rápido, pensar despacio, de Daniel Kahneman. Sin destripar el libro,  Daniel Kahneman fue premio Nobel de economía en el 2002 por identificar una serie de sesgos que todos tenemos cuando tomamos decisiones bajo incertidumbre. Sin haber terminado el «tocho» todavía, pensaba yo, que la solución a los sesgos sería tener la mayor cantidad de información fiable y de calidad para la toma de decisiones. Pero… ¿Serían las métricas y KPI´s que usamos los analistas digitales un buen sistema para acertar en nuestros juicios? ¿El hecho de ser información cuantitativa y objetiva la convierten en un método fiable para alcanzar las metas?

El efecto cobra

En tiempos en los que la India era una colonia británica, el gobierno estaba preocupado por la cantidad de cobras que había en Delhi. La medida que establecieron para solucionar el problema fue pagar a los ciudadanos por cada cobra que fuese entregada muerta. La medida, exitosa al principio, fue perdiendo efecto en la medida en la que las personas fueron montando criaderos de cobras para matarlas y cobrar la recompensa. Resulta que era más fácil criarlas que capturar cobras salvajes. Detener la medida aplicada tampoco mejoró el problema, ya que cuando se dejó de pagar por las serpientes, la gente que había montado los criaderos las soltó al medio natural.

La Ley de Campbell

Este efecto se ha estudiado en el ámbito de las políticas socioeconómicas (Ley de Goodhart) y en el ámbito de las ciencias sociales en general, con la Ley de Campbell. Esta ley viene a enunciar que:

«Cuanto más se utilice un indicador social cuantitativo para la toma de decisiones sociales, más sujeto estará a las presiones de la corrupción y más apto será para distorsionar y corromper los procesos sociales que se pretenden monitorear»

Viene a decir que, cuando la métrica se convierte en el objetivo, puede ser que nuestros esfuerzos se centren en mejorar esa métrica cuantitativa, esta se corrompa como indicador,  y no estemos logrando el fin último que se pretendía conseguir.

A lo largo de la historia moderna hay numerosos ejemplos de esto además del de la cobra, desde la guerra de Vietnam a los derechos de emisión de CO2, pero sobre lo que realmente me interesaba reflexionar en este post es cómo esta ley está presente en la analítica digital, o más ampliamente en el mundo del análisis de datos.

Aplicándolo a la analítica

Como ya vimos en este blog, no es fácil crear un super KPI que se adapte perfectamente a nuestro objetivo.

Se me ocurre por ejemplo esta cuestión: ¿puede ser el aumento del tráfico  de una web un KPI alineado con los objetivos finales de ingresos, cuota de mercado o satisfacción de los clientes?

Podemos imaginarnos escenarios en los que no. Nos bastaría con llevar a cabo acciones que atrajesen tráfico sin tener en cuenta si estas visitas son de calidad o no. La falta de alineación entre el KPI y los objetivos finales puede ser consciente o no serlo. Una compra de bots en redes que traigan visitas a la página mejoraría el KPI de manera fraudulenta por parte de un responsable con problemas de agencia. Una campaña lanzada a usuarios sin interés en nuestra marca o sin propósito compra en la web, también mejoraría el KPI pero no alcanzaría los objetivos finales (esta vez por desconocimiento).

Podemos imaginarnos problemas con otras métricas en otros escenarios hipotéticos. Una disminución de la tasa de rebote o del tiempo en página tampoco tendría que ir necesariamente vinculado a un mayor interés del usuario por el contenido de la web. Podría deberse a la dificultad para encontrar la información, a errores en la medición, etc.

Un aumento de las confirmaciones de compra a causa de una agresiva estrategia para empujar la compra por impulso podría a medio o largo plazo no redundar en un aumento de los ingresos. Se podrían disparar por ejemplo las tasas de devolución. Hemos oído también hablar también de los dark patterns y de sus consecuencias a largo plazo para el negocio.

Es importante poner en perspectiva el crecimiento de las métricas principales con la estrategia a largo plazo de la empresa. También con los valores. Recordemos algunas noticias sobre Facebook y su afán por generar engagement, dando soporte a contenidos que a la larga dañarían su imagen.

Conclusión

El problema, en mi opinión, radica en que es muy difícil ver las consecuencias que nuestras acciones tendrán en un sistema complejo, y la empresa lo es. Medimos esos KPI´s en base a tener una visión simplificada de la marcha del negocio. Esto nos da una sensación de control, y tomamos acciones sobre esas métricas cuando se desvían. El impacto directo de estas acciones, y sobre todo, las consecuencias secundarias son difíciles de predecir cuando se trata de sistemas complejos. Es necesario un pensamiento de segundo orden.

La experiencia y el conocimiento del negocio pueden ser buenos contrapesos a la interpretación pura de los datos. Un ojo entrenado y una visión global pueden que nos hagan ver consecuencias de nuestras acciones, que a priori, no eran evidentes ni intuitivas. Como comentaba mi compañera Eva, a analizar se aprende analizando.

Como responsable de un departamento de un establecimiento recuerdo haber dedicado recursos a un servicio apreciado por los clientes. Las métricas de uso y satisfacción de este servicio por parte del cliente marchaban de maravilla. Sin embargo, mi equipo no tardó en darse cuenta de que ese movimiento de recursos estaba teniendo un impacto negativo en otras áreas del departamento que indirectamente también impactaban en la satisfacción final del cliente.

Con esto la intención no es poner en cuestión la medición de nuestra página o la utilización de KPI´s para la marcha del negocio, sino reflexionar sobre la necesidad de no perder de vista la meta final. Es importante conocer los riesgos de actuar sobre algunas palancas teniendo en cuenta todas las posibles consecuencias.

¿Qué opináis? ¿Os ha pasado lo de intentar mejorar una cosa y tener efectos indeseados?