CM^3: Калибровка мультимодальных рекомендательных систем

CM^3: Calibrating Multimodal Recommendation

August 2, 2025

Авторы: Xin Zhou, Yongjie Wang, Zhiqi Shen

cs.AI

Аннотация

Согласованность и равномерность являются фундаментальными принципами в области контрастного обучения. В рекомендательных системах предыдущие исследования установили, что оптимизация функции потерь Bayesian Personalized Ranking (BPR) способствует достижению целей согласованности и равномерности. В частности, согласованность направлена на сближение представлений взаимодействующих пользователей и элементов, тогда как равномерность требует равномерного распределения вложений пользователей и элементов на единичной гиперсфере. Данное исследование вновь рассматривает свойства согласованности и равномерности в контексте мультимодальных рекомендательных систем, выявляя склонность существующих моделей к приоритизации равномерности в ущерб согласованности. Наша гипотеза оспаривает традиционное предположение о равноправном отношении к элементам через функцию потерь равномерности, предлагая более тонкий подход, в котором элементы с похожими мультимодальными атрибутами сходятся к близким представлениям на гиперсферическом многообразии. В частности, мы используем внутреннее сходство мультимодальных данных элементов для калибровки их распределения равномерности, тем самым вызывая более выраженную силу отталкивания между различными сущностями в пространстве вложений. Теоретический анализ проясняет взаимосвязь между этой калиброванной функцией потерь равномерности и традиционной функцией равномерности. Кроме того, для улучшения слияния мультимодальных признаков мы вводим метод сферических кривых Безье, предназначенный для интеграции произвольного числа модальностей при условии, что результирующие объединенные признаки остаются ограниченными тем же гиперсферическим многообразием. Эмпирические оценки, проведенные на пяти реальных наборах данных, подтверждают превосходство нашего подхода над конкурирующими базовыми методами. Мы также показываем, что предложенные методы могут достичь увеличения производительности NDCG@20 до 5,4% за счет интеграции признаков, извлеченных с помощью MLLM. Исходный код доступен по адресу: https://github.com/enoche/CM3.

English

Alignment and uniformity are fundamental principles within the domain of contrastive learning. In recommender systems, prior work has established that optimizing the Bayesian Personalized Ranking (BPR) loss contributes to the objectives of alignment and uniformity. Specifically, alignment aims to draw together the representations of interacting users and items, while uniformity mandates a uniform distribution of user and item embeddings across a unit hypersphere. This study revisits the alignment and uniformity properties within the context of multimodal recommender systems, revealing a proclivity among extant models to prioritize uniformity to the detriment of alignment. Our hypothesis challenges the conventional assumption of equitable item treatment through a uniformity loss, proposing a more nuanced approach wherein items with similar multimodal attributes converge toward proximal representations within the hyperspheric manifold. Specifically, we leverage the inherent similarity between items' multimodal data to calibrate their uniformity distribution, thereby inducing a more pronounced repulsive force between dissimilar entities within the embedding space. A theoretical analysis elucidates the relationship between this calibrated uniformity loss and the conventional uniformity function. Moreover, to enhance the fusion of multimodal features, we introduce a Spherical B\'ezier method designed to integrate an arbitrary number of modalities while ensuring that the resulting fused features are constrained to the same hyperspherical manifold. Empirical evaluations conducted on five real-world datasets substantiate the superiority of our approach over competing baselines. We also shown that the proposed methods can achieve up to a 5.4% increase in NDCG@20 performance via the integration of MLLM-extracted features. Source code is available at: https://github.com/enoche/CM3.