Молар: мультимодальные LLM с выравниванием коллаборативной фильтрации для улучшенных последовательных рекомендаций

Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

December 24, 2024

Авторы: Yucong Luo, Qitao Qin, Hao Zhang, Mingyue Cheng, Ruiran Yan, Kefan Wang, Jie Ouyang

cs.AI

Аннотация

Системы последовательных рекомендаций (SR) значительно эволюционировали за последнее десятилетие, переходя от традиционной коллаборативной фильтрации к подходам глубокого обучения и, более недавно, к большим языковым моделям (LLM). В то время как применение LLM привело к значительным усовершенствованиям, эти модели в своей сути лишены информации коллаборативной фильтрации, полагаясь в основном на текстовые данные и игнорируя другие модальности, что приводит к недостаточной производительности рекомендаций. Для преодоления этого ограничения мы предлагаем Molar, мультимодальную крупномасштабную языковую последовательную рекомендательную платформу, которая интегрирует несколько модальностей контента с идентификационной информацией для эффективного улавливания коллаборативных сигналов. Molar использует MLLM для создания объединенных представлений элементов из текстовых и нетекстовых данных, облегчая комплексное мультимодальное моделирование и обогащение вложений элементов. Кроме того, он включает сигналы коллаборативной фильтрации через механизм пост-выравнивания, который выравнивает представления пользователей из моделей на основе контента и идентификаторов, обеспечивая точную персонализацию и надежную производительность. Путем плавного объединения мультимодального контента с коллаборативными сигналами Molar улавливает как интересы пользователей, так и контекстуальную семантику, что приводит к более высокой точности рекомендаций. Обширные эксперименты подтверждают, что Molar значительно превосходит традиционные и основанные на LLM базовые модели, подчеркивая его силу в использовании мультимодальных данных и коллаборативных сигналов для задач последовательных рекомендаций. Исходный код доступен по адресу https://anonymous.4open.science/r/Molar-8B06/.

English

Sequential recommendation (SR) systems have evolved significantly over the past decade, transitioning from traditional collaborative filtering to deep learning approaches and, more recently, to large language models (LLMs). While the adoption of LLMs has driven substantial advancements, these models inherently lack collaborative filtering information, relying primarily on textual content data neglecting other modalities and thus failing to achieve optimal recommendation performance. To address this limitation, we propose Molar, a Multimodal large language sequential recommendation framework that integrates multiple content modalities with ID information to capture collaborative signals effectively. Molar employs an MLLM to generate unified item representations from both textual and non-textual data, facilitating comprehensive multimodal modeling and enriching item embeddings. Additionally, it incorporates collaborative filtering signals through a post-alignment mechanism, which aligns user representations from content-based and ID-based models, ensuring precise personalization and robust performance. By seamlessly combining multimodal content with collaborative filtering insights, Molar captures both user interests and contextual semantics, leading to superior recommendation accuracy. Extensive experiments validate that Molar significantly outperforms traditional and LLM-based baselines, highlighting its strength in utilizing multimodal data and collaborative signals for sequential recommendation tasks. The source code is available at https://anonymous.4open.science/r/Molar-8B06/.