Métricas para evaluar el rendimiento del sistema de recomendación — sistemas de recomendación en el mundo real (2023)

Muchos sitios web utilizan los sistemas de recomendación para personalizar el contenido y reducir la sobrecarga de información para los consumidores. Sin embargo, no está claro cuánto valor comercial crean estos sistemas, y la literatura existente está dispersa. Este comentario de investigación revisa las pruebas de campo de los sistemas de recomendación y sus medidas de rendimiento relacionadas con el negocio. Se discuten los desafíos en la medición del valor comercial, así como el valor de las mejoras algorítmicas y los experimentos fuera de línea. En general, todavía hay muchas preguntas sin respuesta con respecto a la cuantificación realista de los efectos comerciales y la evaluación del rendimiento de los algoritmos.

Los sistemas de recomendación, impulsados ​​por la inteligencia artificial y la tecnología de aprendizaje automático, se utilizan ampliamente en nuestras actividades diarias en línea, como el comercio electrónico, la transmisión de medios y las redes sociales. Estos sistemas sugieren elementos que probablemente nos interesen y creen valor para los consumidores, proveedores y otras partes interesadas. Si bien la investigación académica se enfoca en mejorar el valor para el cliente, los proveedores evalúan el éxito del sistema en función de las métricas comerciales, como las ventas, las tasas de clics, la participación de los usuarios y las tasas de retención de clientes.

Los efectos comerciales positivos de los sistemas de recomendación son ampliamente reconocidos, pero la magnitud de estos efectos en comparación con otros algoritmos o con ningún sistema no siempre está clara. Los números informados varían mucho y puede ser difícil determinar en qué medida específica enfocarse en ciertos dominios de aplicación.Si bien las tasas de clics a menudo se usan como una medida, es posible que no reflejen con precisión el valor comercial a largo plazo de un sistema de recomendación.

Es un desafío saber si mejorar un algoritmo de recomendación beneficiará a una empresa. Las empresas suelen realizar pruebas de campo y experimentos fuera de línea para evaluar los efectos de los cambios. Sin embargo, es difícil medir el valor comercial directo de estos experimentos. Los investigadores comúnmente predicen las preferencias o acciones de los usuarios, pero no está claro qué tan útiles son estas medidas para evaluar el valor comercial potencial de las mejoras del algoritmo. Los experimentos fuera de línea tampoco son siempre un predictor confiable de los resultados de las pruebas de campo (pruebas A/B).

En resumen, hay dos problemas potenciales al evaluar el impacto de los recomendadores en el negocio: definición, medición y análisis inadecuados del valor comercial, y sobreestimación del valor de implementar algoritmos complejos basados ​​en medidas computacionales abstractas. Por ejemplo, la estrategia ganadora de la competencia del Premio Netflix nunca se implementó a pesar de sus ganancias de precisión teóricas, ya que no estaba claro si el aumento en el valor comercial justificaría el esfuerzo de ingeniería requerido para hacerlo escalable.

En este artículo, revisamos la literatura sobre implementaciones en el mundo real de sistemas de recomendación, incluidos enfoques personalizados e interactivos. Nuestro objetivo es proporcionar una base para que los proveedores de servicios en línea y los minoristas evalúen el valor de invertir en tecnología de recomendación. También resumimos estudios científicos que examinan la relación entre las mejoras algorítmicas y la percepción y adopción del usuario. Finalmente, discutimos las implicaciones de nuestra encuesta para la industria y la academia.

Cuando las empresas implementan un sistema de recomendación, miden sus efectos y el valor comercial en función de factores como el dominio de la aplicación y el modelo comercial. Por ejemplo, las empresas con modelos basados ​​en anuncios (p. ej., YouTube o sitios de agregación de noticias) pueden tener como objetivo aumentar la participación de los usuarios, mientras que aquellas con modelos de suscripción de tarifa plana (p. ej., servicios de transmisión de música) pueden priorizar la retención. En el comercio electrónico, el objetivo puede ser promover las ventas directamente (por ejemplo, en un sitio de comercio electrónico) o cambiar el comportamiento del consumidor hacia artículos más rentables. El modelo de negocio y los objetivos determinan cómo las empresas miden el valor de un recomendador. Una variedad de enfoques de medición se discuten con más detalle en las siguientes secciones.

El CTR se usa para medir cuántos clics reciben las recomendaciones y se usa comúnmente en la recomendación de noticias. Se probaron diferentes algoritmos, con recomendaciones personalizadas que generaron un aumento del 38 % en los clics en Google News, y un sistema colaborativo basado en contenido híbrido que generó un aumento del 37 % en el CTR para Forbes.com. También se han considerado las tendencias locales y los intereses de los usuarios individuales, con el método Context Tree (CT) que resultó en un aumento del CTR del 35% para sesiones de usuario más largas. El CTR también se ha utilizado en artículos de investigación, redes sociales y recomendaciones de videos, con un algoritmo de visitas conjuntas que conduce a un aumento del 200 % en el CTR para YouTube. En recomendaciones de artículos similares, eBay vio un aumento del 38 % y del 36 % en el CTR para diferentes enfoques. Curiosamente, el recomendador aleatorio fue mejor en términos de CTR que el recomendador "Más popular".

En escenarios de recomendación, las tasas de clics no son la mejor medida del éxito en comparación con los modelos comerciales en línea basados ​​en anuncios. Si bien el CTR puede indicar el interés del usuario, no puede determinar si los usuarios realmente disfrutaron del contenido recomendado o si compraron un producto según una recomendación. Por lo tanto, se utilizan otras medidas para evaluar la eficacia de las recomendaciones, en función de factores específicos del dominio.

YouTube y Netflix utilizan medidas de adopción alternativas para medir la utilidad de sus recomendaciones. YouTube cuenta los clics solo si el usuario ve una determinada fracción de un video, mientras que Netflix usa la "tasa de reproducción" para medir la frecuencia con la que se reprodujo una película después de recomendarla. Las recomendaciones personalizadas aumentan significativamente la tasa de aceptación en comparación con las recomendaciones basadas en la popularidad, según sus experimentos. Sin embargo, no se informan números detallados en las fuentes.

En industrias donde los productos no se pueden consumir directamente, se utilizan comúnmente otras medidas de adopción. Por ejemplo, eBay utiliza tasas de "compra directa" y "oferta directa", mientras que las recomendaciones de artículos de investigación utilizan tasas de "enlace directo" o "cita directa", y los mercados en línea cuentan los eventos de "clic de salida" para socios externos. Una prueba realizada en eBay mostró que un nuevo algoritmo de artículos similares mejoró las tasas de oferta entre un 3,3 % y un 9 % y las tasas de compra entre un 1,5 % y un 3 %.
En general, los autores concluyen que su nuevo sistema basado en el agrupamiento probabilístico, si se implementaradespués de seis meses de pruebas y ajustes A/Bllevaría a una mejora de 3 a 5 veces sobre su algoritmo actual, que es un método de filtrado colaborativo del vecino más cercano en el nivel de categoría. En otra prueba en eBay, un nuevo algoritmo de recomendación de artículos similares condujo a un aumento del 89 % en las acciones de "añadir a la lista de deseos". En un mercado más pequeño de dispositivos electrónicos, las estrategias de recomendación alternativas aumentaron la tasa de "clics de salida" a un mercado externo en más del 250 %.

Diferentes escenarios de recomendación tienen diferentes medidas de éxito. Se ha observado que el filtrado colaborativo mejora la medida del rendimiento en la recomendación de persona a persona en portales de citas en línea y portales de empleo. Se ha demostrado que las recomendaciones de habilidades aumentan la cantidad de usuarios que agregan habilidades. La medida del éxito del sistema de recomendación turística desplegado es el número de solicitudes de contacto. Se descubrió que un método de clasificación Naive Bayes aumenta la conversión en una prueba de campo en Booking.com. Las recomendaciones en los dominios del turismo se basan en las preferencias del usuario recopiladas de forma interactiva.

El éxito de un sistema de recomendación no solo se mide por las tasas de clics, sino también por su impacto en las ventas y los ingresos. Sin embargo, es un desafío determinar el valor comercial real de un sistema de recomendación, ya que un aumento en la adopción no necesariamente conduce a un aumento proporcional en los ingresos. Existen diferentes modelos comerciales para los recomendadores, como el aumento de las ventas o las tarifas de suscripción, pero pocos documentos informan sobre sus efectos debido a la confidencialidad de los datos y la dificultad para aislar los efectos de un recomendador de otros factores. En el caso de Netflix, por ejemplo, las suscripciones renovadas son un efecto deseado de los recomendadores, pero con tasas de abandono muy bajas en general, es difícil atribuir diferencias en las tasas de abandono a cambios en un algoritmo de recomendación.

El impacto de las recomendaciones personalizadas en las ventas va más allá del número de artículos comprados; también puede afectar qué artículos se compran. Los recomendadores tienen el potencial de persuadir a los clientes para que compren artículos específicos, como productos complementarios o artículos premium con mayores márgenes de ingresos.Por ejemplo, un minorista de ropa podría recomendar zapatos a juego para cada par de pantalones comprados.

La introducción de recomendaciones personalizadas puede impactar significativamente en el comportamiento de compra del consumidor, como lo demuestran varios estudios. Por ejemplo, la implementación de un recomendador interactivo para cigarros premium generó más compras en la cola larga, lo que resultó en un alejamiento del dominio de unos pocos vendedores principales. De manera similar, Netflix mide el "Tamaño efectivo del catálogo" para evaluar la exploración del usuario, que aumenta en presencia de recomendaciones personalizadas y se aleja de los artículos populares.Sin embargo, un cambio en la distribución del consumo no se traduce necesariamente en un mayor valor comercial,como se vio en el caso de un sistema de recomendación de noticias mejorado que robó clics de otras partes de un sitio web. Además, un experimento de campo aleatorio reveló que la presencia de un sistema de recomendación en el sitio web de un minorista en línea de América del Norte condujo a una disminución en la diversidad de ventas agregadas, medida por el coeficiente de Gini, a pesar de un aumento en las vistas y ventas de artículos de nicho.

Los estudios muestran que en varios dominios, una mayor participación de los usuarios con los sistemas de recomendación conduce a una mayor retención de usuarios y valor comercial.Los estudios del mundo real informan una mayor actividad de los usuarios con recomendadores, como visitas más largas para sitios de noticias y más sesiones de usuarios para la personalización de contenido móvil. Las diferentes estrategias de recomendación también afectan los niveles de actividad y la lealtad del usuario, con una estrategia que combina datos de uso y contenido que conducen a los niveles de actividad más altos en el dominio de la recomendación musical. Además, aumentar la diversidad de las listas de recomendaciones puede mejorar la actividad y el compromiso de los usuarios.

La sección anterior demostró que hay diferentes tipos de efectos que se pueden medir para los sistemas de recomendación. Para el comercio electrónico, medir el impacto en las ventas o los ingresos es una forma directa de evaluar el valor comercial, pero es importante alinear la medición con los objetivos comerciales.Las pruebas A/B se usan comúnmente, pero tienen limitaciones ya que solo capturan efectos a corto plazo.Recomendar artículos menos populares puede tener efectos en las ventas a largo plazo, ya que los clientes descubren nuevas categorías de productos o cambian a una versión paga de un producto gratuito recomendado anteriormente.

Las tasas de clics y adopción no siempre son medidas confiables del valor comercial. Un CTR alto puede ser el resultado de clickbait, y las recomendaciones populares pueden reforzar las burbujas de filtro y descuidar los elementos menos populares. La personalización también puede dar lugar a un mero efecto de presencia, lo que dificulta medir el éxito de una recomendación basándose únicamente en los recuentos de inicio de transmisión.
Usó varias medidas, incluidas las tasas de clics y las descargas de juegos, para la recomendación de juegos móviles.Sin embargo, los recuentos de vistas y descargas de artículos no fueron predictores confiables para el éxito comercial.Algunos algoritmos aumentaron el interés de los consumidores pero no generaron descargas, mientras que otros tenían un sesgo hacia la promoción de juegos que se descargaban con frecuencia. Medir el valor comercial de un sistema de recomendación es un desafío, y la participación del usuario a menudo se considera como un indicador del valor comercial en ciertos dominios. La tabla anterior resume estas observaciones.

Las mejoras del nuevo sistema de recomendación varían mucho según la comparación de referencia. En promedio, se informan aumentos en las ventas de entre 1 y 5 % y, en algunos casos, se produjo una caída del 17 % en las ventas cuando se eliminó el componente de recomendación. Los estudios a menudo comparan diferentes enfoques algorítmicos, pero el éxito de un sistema de recomendación depende de factores como la confianza del usuario, la transparencia y la interfaz de usuario.Combinar mejoras en la experiencia del usuario con avances algorítmicos puede ser más prometedor que centrarse únicamente en mejores algoritmos.

Las grandes empresas suelen utilizar las pruebas A/B para determinar los efectos de implementar o mejorar un sistema de recomendación en un sitio web.Las pruebas pueden durar varios meses y centrarse en métricas como la retención de clientes y la participación de los usuarios.Los métodos estadísticos se utilizan para garantizar que las diferencias observadas no se deban a efectos aleatorios,pero la interpretación de los resultados aún puede ser un desafío y es posible que sea necesario repetir las pruebas si se producen efectos inesperados.. Los desafíos de ejecutar pruebas A/B se analizan en detalle en [32], usando Netflix como un caso de estudio.

[32] C. A. Gómez-Uribe y N. Hunt. El sistema de recomendación de e Netix: Algoritmos, valor comercial e innovación. Transacciones sobre sistemas de información de gestión, 6(4):13:1–13:19, 2015.

Las grandes empresas como Google, Microsoft o Amazon enfrentan varios desafíos cuando ejecutan pruebas A/B confiables. Elegir el criterio de evaluación es un desafío fundamental, ya que las metas a corto y largo plazo pueden tener objetivos opuestos. Se informa un ejemplo de esto, donde un error en el motor de búsqueda Bing de Microsoft provocó un aumento a corto plazo en la cantidad de consultas por usuario, pero una disminución a largo plazo en la retención de clientes debido a la mala calidad de la búsqueda. Efectos similares pueden ocurrir en el contexto de la optimización de la tasa de clics.

Se necesitan tamaños de muestra grandes y largos períodos de prueba para realizar pruebas A/B de manera confiable, lo que puede ralentizar la innovación.Las empresas a menudo limitan las pruebas a los nuevos usuarios debido al riesgo de una respuesta deficiente de los usuarios. Existen métodos propuestos para hacer frente a estos desafíos, pero no está claro si las empresas más pequeñas los implementan. Muchos trabajos de investigación revisados ​​carecen de información detallada sobre las pruebas realizadas y los análisis estadísticos, lo que puede dar lugar a resultados potencialmente poco fiables o engañosos.

La investigación académica a menudo realiza experimentos fuera de línea con datos históricos debido a la complejidad y el costo de realizar pruebas de campo. Sin embargo, este enfoque tiene limitaciones, como conjuntos de datos que carecen de información relacionada con el negocio y sesgos en los datos recopilados. Se han realizado esfuerzos para abordar estos problemas, incluidas medidas de evaluación alternativas y mecanismos de evaluación imparciales fuera de línea. El objetivo suele ser admitir "pruebas A/B fuera de línea" para evitar pruebas de campo costosas y riesgosas. La comunidad de investigación está abordando activamente estos desafíos, proponiendo nuevas métricas y abordando problemas como cambiar las preferencias de los usuarios a lo largo del tiempo.

Además de los problemas relacionados con los datos,a menudo no está claro en qué medida las medidas de precisión comúnmente utilizadas en los experimentos fuera de línea (como RMSE, precisión o recuperación) se correlacionan con el éxito comercial de un recomendador.Si bien parece lógico que un algoritmo que prediga mejor si a un usuario le gustará un artículo debería dar como resultado recomendaciones mejores o más relevantes y un mayor valor comercial, este no es siempre el caso. Los usuarios pueden calificar los artículos positivamente por varias razones, pero es posible que no compren artículos similares en el futuro porque no están satisfechos. En tales casos, una recomendación más atrevida puede haber generado más ventas.
Es posible que las medidas de precisión utilizadas en los experimentos fuera de línea para los sistemas de recomendación no se correlacionen con el éxito empresarial. La investigación ha demostrado que los modelos fuera de línea más precisos no condujeron al mejor éxito en línea o percepción de precisión.Es importante validar la correspondencia entre métricas offline y valor de negocio para cada caso. Además, el enfoque en "ganar" en medidas individuales puede limitar la aplicabilidad de la investigación en el aprendizaje automático aplicado.Los métodos simples, ajustados correctamente, pueden superar a los algoritmos más recientes basados ​​en técnicas de aprendizaje profundo.

En los sistemas de recomendación, la precisión por sí sola no es suficiente. Se deben considerar otros factores de calidad, como la diversidad y la novedad. Existen varias métricas y propuestas algorítmicas para equilibrar estos factores. Los enfoques de bandidos contextuales pueden ayudar a lidiar con el problema de explorar-explotar recomendando elementos novedosos y aprendiendo de los comentarios de los usuarios. Estos enfoques también contrarrestan los bucles de retroalimentación y promueven la cobertura y diversidad de usuarios.

Las aplicaciones del mundo real en la Sección 2 utilizan medidas relacionadas con factores de calidad más allá de la precisión, como la cobertura y diversificación del catálogo. Recomendar artículos diversos y relevantes puede mejorar la diversidad de ventas y aumentar el compromiso y la retención del cliente. Las métricas más allá de la precisión pueden mejorar la evaluación, pero se necesita más investigación para determinar qué tan bien se correlacionan con la percepción del usuario. Tampoco está claro cómo se incorporan la diversidad y la novedad en los algoritmos en las aplicaciones del mundo real. Se utilizan medidas orientadas al negocio relacionadas con factores de calidad más allá de la precisión, pero hay poca información sobre la diversificación algorítmica.

El objetivo final de la experimentación fuera de línea es encontrar medidas de proxy que se correlacionen con varias medidas de éxito empresarial. Sin embargo, esto es un desafío porque las medidas de éxito a menudo son específicas del dominio o modelo de negocio, mientras que los investigadores buscan soluciones generalizables. Actualmente, tenemos un conocimiento limitado sobre las tendencias de las familias de algoritmos, y se necesita más investigación para comprender cómo los recomendadores afectan el comportamiento del consumidor y el valor comercial. La mera caracterización de un algoritmo con medidas de calidad abstractas es insuficiente sin considerar las implicaciones prácticas. Necesitamos un repertorio metodológico más rico que incluya experimentos de simulación y formas alternativas de evaluar el valor empresarial.

En las implementaciones de sistemas de recomendación del mundo real, hemos descubierto que estos sistemas a menudo contribuyen sustancialmente al éxito comercial, ya sea ayudando directamente a aumentar las ventas o las ganancias, o teniendo efectos positivos indirectos, como mejorar la participación de los usuarios, la lealtad y la retención de clientes. En general, existe amplia evidencia de que las recomendaciones pueden tener un impacto poderoso en el comportamiento del usuario y, por lo tanto, pueden ser una herramienta útil para las empresas, incluido el impulso de la demanda del consumidor. Sin embargo, el tamaño del impacto esperado varía mucho según la situación específica y las medidas utilizadas. Por ejemplo, Amazon informa que los referentes generan un 35 % de ventas adicionales a través de la venta cruzada, pero los aumentos de las ventas directas suelen oscilar entre el 1 y el 5 %, lo que puede ser significativo en términos absolutos.

En general, medir el valor de un sistema de referencia nunca es fácil, incluso cuando las ventas o los ingresos se pueden medir directamente en una prueba A/B., puede haber efectos longitudinales que son difíciles de evaluar por adelantado.
Sin embargo, en muchos casos, deberá utilizar medidas indirectas, como estimar la retención de clientes a través de la participación del usuario. En estas situaciones, es importante validar a fondo sus suposiciones subyacentes para asegurarse de que no está optimizando para los objetivos equivocados. En general, la elección de los criterios de evaluación es uno de los aspectos más importantes de la implementación real de las recomendaciones.

La tasa de clics a menudo se usa como una medida de elección porque es fácil de obtener, pero muchos informes han demostrado que medir la tasa de clics puede ser engañoso y realmente no captura el valor comercial.Para evitar esto, es importante tener en cuenta los objetivos estratégicos u operativos de su negocio al diseñar su algoritmo de recomendación y evaluar su eficacia, incluido el uso de un marco orientado a un propósito como el siguiente

Los cambios menores en los enfoques de aprendizaje automático, como el ajuste de la función de pérdida, son comunes en la investigación académica, pero no está claro si conducen a recomendaciones más efectivas.La precisión de la predicción es solo un factor en la efectividad de un sistema de recomendación, y los valores de recuperación más altos pueden deberse a un sesgo hacia artículos populares que pueden limitar el descubrimiento y ser problemático para las empresas.
Las encuestas son útiles para obtener retroalimentación de los usuarios y mejorar un sitio web o la calidad del servicio., pero la falta de informes industriales sobre los resultados de las encuestas puede deberse a la preocupación por revelar desafíos o ideas a los competidores. A pesar de esto, las encuestas son una herramienta prometedora para que los investigadores comprendan el uso práctico de los sistemas de recomendación.

Existen desafíos para medir la efectividad de los sistemas de recomendación en la creación de valor comercial y su impacto en métricas como los ingresos y la retención de clientes. Las tasas de clics por sí solas no son suficientes para medir el valor a largo plazo. Se sugieren experimentos fuera de línea y pruebas de campo, pero también se deben considerar sus limitaciones. Si bien estos experimentos mejoran la experiencia del usuario, su impacto en las métricas comerciales no está del todo claro. Advertimos contra la sobreestimación del valor de los algoritmos complejos y enfatizamos la necesidad de comprender mejor el impacto de los sistemas de recomendación en las métricas comerciales.

Referencia: