Molar: Multimodale LLM's met Collaborative Filtering Alignment voor Verbeterde Sequentiële Aanbeveling

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

Auteurs: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

Samenvatting

Sequentiële aanbevelingssystemen (SR-systemen) zijn aanzienlijk geëvolueerd in het afgelopen decennium, waarbij ze zijn overgestapt van traditionele samenwerkingsfiltering naar diepgaande leermethoden en, meer recentelijk, naar grote taalmodellen (LLM's). Hoewel de adoptie van LLM's aanzienlijke vooruitgang heeft geboekt, ontberen deze modellen inherent samenwerkingsfilterinformatie, waarbij ze voornamelijk vertrouwen op tekstuele inhoudsgegevens en andere modaliteiten verwaarlozen, waardoor ze niet optimaal presteren bij aanbevelingen. Om deze beperking aan te pakken, stellen we Molar voor, een Multimodaal groot taalsequentieel aanbevelingskader dat meerdere inhoudsmodaliteiten integreert met ID-informatie om samenwerkingsignalen effectief vast te leggen. Molar maakt gebruik van een MLLM om eenduidige itemrepresentaties te genereren uit zowel tekstuele als niet-tekstuele gegevens, waardoor uitgebreide multimodale modellering mogelijk is en item-embeddings worden verrijkt. Daarnaast bevat het samenwerkingsfilteringsignalen door middel van een post-aligneringsmechanisme, dat gebruikersrepresentaties uit op inhoud gebaseerde en ID-gebaseerde modellen op elkaar afstemt, wat zorgt voor nauwkeurige personalisatie en robuuste prestaties. Door naadloos multimodale inhoud te combineren met samenwerkingsfilterinzichten, legt Molar zowel gebruikersbelangen als contextuele semantiek vast, wat leidt tot een superieure aanbevelingsnauwkeurigheid. Uitgebreide experimenten bevestigen dat Molar aanzienlijk beter presteert dan traditionele en op LLM's gebaseerde baselines, waarbij de kracht van het benutten van multimodale gegevens en samenwerkingsignalen voor sequentiële aanbevelingstaken wordt benadrukt. De broncode is beschikbaar op https://anonymous.4open.science/r/Molar-8B06/.

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.