Modèle de Langage basé sur les Items pour la Recommandation Conversationnelle

Item-Language Model for Conversational Recommendation

June 5, 2024

Auteurs: Li Yang, Anushya Subbiah, Hardik Patel, Judith Yue Li, Yanwei Song, Reza Mirghaderi, Vikram Aggarwal

cs.AI

Résumé

Les modèles de langage à grande échelle (LLM) ont connu un succès remarquable dans des tâches telles que la compréhension de dialogues complexes, le raisonnement et la programmation, grâce à leurs capacités émergentes. Ces capacités émergentes ont été étendues à la multimodalité pour inclure des fonctionnalités liées aux images, à l'audio et à la vidéo. D'un autre côté, les systèmes de recommandation ont joué un rôle crucial pour répondre aux besoins de recherche d'information et de découverte d'éléments. Récemment, des tentatives ont été faites pour appliquer les LLM aux recommandations. Une difficulté des approches actuelles est que le LLM sous-jacent n'est généralement pas entraîné sur les données des systèmes de recommandation, qui contiennent principalement des signaux d'interaction utilisateur et ne sont souvent pas disponibles publiquement. Une autre difficulté est que les signaux d'interaction utilisateur présentent souvent un modèle différent de celui du texte en langage naturel, et il n'est pas clair si le cadre d'entraînement des LLM peut apprendre des connaissances plus complexes à partir de ces signaux par rapport aux méthodes traditionnelles des systèmes de recommandation. Enfin, il est difficile d'entraîner plusieurs LLM pour différents cas d'utilisation tout en conservant les capacités linguistiques et de raisonnement d'origine lors de l'apprentissage à partir des données des systèmes de recommandation. Pour répondre à ces trois limitations, nous proposons un Modèle Langage-Objet (ILM), composé d'un encodeur d'objets pour produire des représentations d'objets alignées sur le texte qui encodent les signaux d'interaction utilisateur, et d'un LLM figé capable de comprendre ces représentations d'objets tout en conservant les connaissances pré-entraînées. Nous menons des expériences approfondies qui démontrent à la fois l'importance de l'alignement linguistique et de la connaissance des interactions utilisateur dans l'encodeur d'objets.

English

Large-language Models (LLMs) have been extremely successful at tasks like complex dialogue understanding, reasoning and coding due to their emergent abilities. These emergent abilities have been extended with multi-modality to include image, audio, and video capabilities. Recommender systems, on the other hand, have been critical for information seeking and item discovery needs. Recently, there have been attempts to apply LLMs for recommendations. One difficulty of current attempts is that the underlying LLM is usually not trained on the recommender system data, which largely contains user interaction signals and is often not publicly available. Another difficulty is user interaction signals often have a different pattern from natural language text, and it is currently unclear if the LLM training setup can learn more non-trivial knowledge from interaction signals compared with traditional recommender system methods. Finally, it is difficult to train multiple LLMs for different use-cases, and to retain the original language and reasoning abilities when learning from recommender system data. To address these three limitations, we propose an Item-Language Model (ILM), which is composed of an item encoder to produce text-aligned item representations that encode user interaction signals, and a frozen LLM that can understand those item representations with preserved pretrained knowledge. We conduct extensive experiments which demonstrate both the importance of the language-alignment and of user interaction knowledge in the item encoder.