Molar: LLMs Multimodales con Alineación de Filtrado Colaborativo para una Recomendación Secuencial Mejorada

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

Autores: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

Resumen

Los sistemas de recomendación secuencial (SR) han evolucionado significativamente en la última década, pasando de los enfoques tradicionales de filtrado colaborativo a técnicas de aprendizaje profundo y, más recientemente, a modelos de lenguaje extenso (LLMs). Si bien la adopción de LLMs ha impulsado avances sustanciales, estos modelos carecen inherentemente de información de filtrado colaborativo, confiando principalmente en datos de contenido textual y descuidando otras modalidades, lo que resulta en un rendimiento de recomendación subóptimo. Para abordar esta limitación, proponemos Molar, un marco de recomendación secuencial de lenguaje extenso multimodal que integra múltiples modalidades de contenido con información de ID para capturar señales colaborativas de manera efectiva. Molar emplea un MLLM para generar representaciones unificadas de elementos a partir de datos tanto textuales como no textuales, facilitando un modelado multimodal completo y enriqueciendo incrustaciones de elementos. Además, incorpora señales de filtrado colaborativo a través de un mecanismo de post-alineación, que alinea representaciones de usuarios de modelos basados en contenido e ID, asegurando una personalización precisa y un rendimiento robusto. Al combinar de manera fluida contenido multimodal con percepciones de filtrado colaborativo, Molar captura tanto los intereses del usuario como la semántica contextual, lo que resulta en una precisión de recomendación superior. Experimentos extensos validan que Molar supera significativamente a los baselines tradicionales y basados en LLM, resaltando su fortaleza en la utilización de datos multimodales y señales colaborativas para tareas de recomendación secuencial. El código fuente está disponible en https://anonymous.4open.science/r/Molar-8B06/.

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.