Molar: Multimodale LLMs mit kollaborativer Filterausrichtung für verbesserte sequenzielle Empfehlungen.

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

Autoren: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

Zusammenfassung

Sequenzielle Empfehlungssysteme (SR) haben sich in den letzten zehn Jahren erheblich weiterentwickelt, indem sie von traditionellem kollaborativem Filtern auf Deep-Learning-Ansätze und kürzlich auf große Sprachmodelle (LLMs) übergegangen sind. Während die Verwendung von LLMs bedeutende Fortschritte vorangetrieben hat, fehlt es diesen Modellen grundsätzlich an kollaborativen Filterinformationen, da sie hauptsächlich auf textuellen Inhalten basieren und andere Modalitäten vernachlässigen, was zu einer suboptimalen Empfehlungsleistung führt. Um diese Einschränkung zu beheben, schlagen wir Molar vor, ein Multimodales großes Sprachsequenzielles Empfehlungsframework, das mehrere Inhaltsmodalitäten mit ID-Informationen integriert, um kollaborative Signale effektiv zu erfassen. Molar verwendet ein MLLM, um vereinheitlichte Artikelrepräsentationen aus sowohl textuellen als auch nicht-textuellen Daten zu generieren, was eine umfassende multimodale Modellierung ermöglicht und die Artikel-Einbettungen bereichert. Darüber hinaus integriert es kollaborative Filterungssignale durch einen Post-Alignment-Mechanismus, der Benutzerrepräsentationen aus inhaltsbasierten und ID-basierten Modellen abgleicht, um eine präzise Personalisierung und robuste Leistung zu gewährleisten. Durch die nahtlose Kombination von multimodalen Inhalten mit kollaborativen Filterungseinblicken erfasst Molar sowohl Benutzerinteressen als auch kontextuelle Semantik, was zu einer überlegenen Empfehlungsgenauigkeit führt. Umfangreiche Experimente bestätigen, dass Molar signifikant traditionelle und LLM-basierte Baselines übertrifft und damit seine Stärke bei der Nutzung von multimodalen Daten und kollaborativen Signalen für sequenzielle Empfehlungsaufgaben unterstreicht. Der Quellcode ist unter https://anonymous.4open.science/r/Molar-8B06/ verfügbar.

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.