Molar : Modèles de Langage Multimodaux avec Alignement par Filtrage Collaboratif pour une Recommandation Séquentielle Améliorée

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

Auteurs: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

Résumé

Les systèmes de recommandation séquentielle (SR) ont considérablement évolué au cours de la dernière décennie, passant des filtres collaboratifs traditionnels aux approches d'apprentissage profond, et plus récemment, aux grands modèles de langage (LLM). Alors que l'adoption des LLM a entraîné des avancées substantielles, ces modèles manquent intrinsèquement d'informations de filtrage collaboratif, se basant principalement sur des données de contenu textuel en négligeant d'autres modalités et échouant ainsi à atteindre des performances de recommandation optimales. Pour remédier à cette limitation, nous proposons Molar, un cadre de recommandation séquentielle multimodal de grand langage qui intègre de multiples modalités de contenu avec des informations d'identification pour capturer efficacement des signaux collaboratifs. Molar utilise un MLLM pour générer des représentations unifiées d'éléments à partir de données textuelles et non textuelles, facilitant une modélisation multimodale complète et enrichissant les plongements d'éléments. De plus, il intègre des signaux de filtrage collaboratif grâce à un mécanisme de post-alignement, qui aligne les représentations d'utilisateurs des modèles basés sur le contenu et sur l'ID, garantissant une personnalisation précise et des performances robustes. En combinant de manière transparente du contenu multimodal avec des informations de filtrage collaboratif, Molar capture à la fois les intérêts des utilisateurs et la sémantique contextuelle, conduisant à une précision de recommandation supérieure. Des expériences approfondies valident que Molar surpasse significativement les références traditionnelles et basées sur les LLM, mettant en évidence sa force dans l'utilisation de données multimodales et de signaux collaboratifs pour les tâches de recommandation séquentielle. Le code source est disponible sur https://anonymous.4open.science/r/Molar-8B06/.

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.