Modelo de Lenguaje Basado en Ítems para Recomendación Conversacional

Item-Language Model for Conversational Recommendation

June 5, 2024

Autores: Li Yang, Anushya Subbiah, Hardik Patel, Judith Yue Li, Yanwei Song, Reza Mirghaderi, Vikram Aggarwal

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han tenido un éxito notable en tareas como la comprensión de diálogos complejos, el razonamiento y la codificación, gracias a sus habilidades emergentes. Estas habilidades emergentes se han ampliado con la multimodalidad para incluir capacidades de procesamiento de imágenes, audio y video. Por otro lado, los sistemas de recomendación han sido fundamentales para satisfacer necesidades de búsqueda de información y descubrimiento de elementos. Recientemente, se han realizado intentos de aplicar LLMs para recomendaciones. Una dificultad de los intentos actuales es que el LLM subyacente generalmente no está entrenado con datos de sistemas de recomendación, que en gran medida contienen señales de interacción del usuario y a menudo no están disponibles públicamente. Otra dificultad es que las señales de interacción del usuario suelen tener un patrón diferente al del texto en lenguaje natural, y actualmente no está claro si la configuración de entrenamiento de los LLMs puede aprender conocimientos más no triviales a partir de estas señales en comparación con los métodos tradicionales de sistemas de recomendación. Finalmente, es difícil entrenar múltiples LLMs para diferentes casos de uso y mantener las habilidades originales de lenguaje y razonamiento al aprender de los datos de los sistemas de recomendación. Para abordar estas tres limitaciones, proponemos un Modelo de Lenguaje-Ítem (ILM, por sus siglas en inglés), que está compuesto por un codificador de ítems para producir representaciones de ítems alineadas con el texto que codifican las señales de interacción del usuario, y un LLM congelado que puede comprender esas representaciones de ítems conservando el conocimiento preentrenado. Realizamos experimentos exhaustivos que demuestran tanto la importancia de la alineación con el lenguaje como del conocimiento de las interacciones del usuario en el codificador de ítems.

English

Large-language Models (LLMs) have been extremely successful at tasks like complex dialogue understanding, reasoning and coding due to their emergent abilities. These emergent abilities have been extended with multi-modality to include image, audio, and video capabilities. Recommender systems, on the other hand, have been critical for information seeking and item discovery needs. Recently, there have been attempts to apply LLMs for recommendations. One difficulty of current attempts is that the underlying LLM is usually not trained on the recommender system data, which largely contains user interaction signals and is often not publicly available. Another difficulty is user interaction signals often have a different pattern from natural language text, and it is currently unclear if the LLM training setup can learn more non-trivial knowledge from interaction signals compared with traditional recommender system methods. Finally, it is difficult to train multiple LLMs for different use-cases, and to retain the original language and reasoning abilities when learning from recommender system data. To address these three limitations, we propose an Item-Language Model (ILM), which is composed of an item encoder to produce text-aligned item representations that encode user interaction signals, and a frozen LLM that can understand those item representations with preserved pretrained knowledge. We conduct extensive experiments which demonstrate both the importance of the language-alignment and of user interaction knowledge in the item encoder.