CM^3 : Calibration de la Recommandation Multimodale

CM^3: Calibrating Multimodal Recommendation

August 2, 2025

papers.authors: Xin Zhou, Yongjie Wang, Zhiqi Shen

cs.AI

papers.abstract

L'alignement et l'uniformité sont des principes fondamentaux dans le domaine de l'apprentissage contrastif. Dans les systèmes de recommandation, les travaux antérieurs ont établi que l'optimisation de la fonction de perte Bayesian Personalized Ranking (BPR) contribue aux objectifs d'alignement et d'uniformité. Plus précisément, l'alignement vise à rapprocher les représentations des utilisateurs et des éléments interagissant entre eux, tandis que l'uniformité impose une distribution uniforme des embeddings des utilisateurs et des éléments sur une hypersphère unitaire. Cette étude revisite les propriétés d'alignement et d'uniformité dans le contexte des systèmes de recommandation multimodaux, révélant une tendance des modèles existants à privilégier l'uniformité au détriment de l'alignement. Notre hypothèse remet en question l'hypothèse conventionnelle d'un traitement équitable des éléments via une perte d'uniformité, en proposant une approche plus nuancée où les éléments présentant des attributs multimodaux similaires convergent vers des représentations proches au sein de la variété hypersphérique. Plus spécifiquement, nous exploitons la similarité inhérente entre les données multimodales des éléments pour calibrer leur distribution d'uniformité, induisant ainsi une force répulsive plus marquée entre les entités dissimilaires dans l'espace d'embedding. Une analyse théorique éclaire la relation entre cette perte d'uniformité calibrée et la fonction d'uniformité conventionnelle. Par ailleurs, pour améliorer la fusion des caractéristiques multimodales, nous introduisons une méthode de B\'ezier sphérique conçue pour intégrer un nombre arbitraire de modalités tout en garantissant que les caractéristiques fusionnées résultantes sont contraintes à la même variété hypersphérique. Les évaluations empiriques menées sur cinq jeux de données réels confirment la supériorité de notre approche par rapport aux méthodes de référence concurrentes. Nous montrons également que les méthodes proposées peuvent atteindre une augmentation de jusqu'à 5,4 % des performances NDCG@20 grâce à l'intégration de caractéristiques extraites par MLLM. Le code source est disponible à l'adresse suivante : https://github.com/enoche/CM3.

English

Alignment and uniformity are fundamental principles within the domain of contrastive learning. In recommender systems, prior work has established that optimizing the Bayesian Personalized Ranking (BPR) loss contributes to the objectives of alignment and uniformity. Specifically, alignment aims to draw together the representations of interacting users and items, while uniformity mandates a uniform distribution of user and item embeddings across a unit hypersphere. This study revisits the alignment and uniformity properties within the context of multimodal recommender systems, revealing a proclivity among extant models to prioritize uniformity to the detriment of alignment. Our hypothesis challenges the conventional assumption of equitable item treatment through a uniformity loss, proposing a more nuanced approach wherein items with similar multimodal attributes converge toward proximal representations within the hyperspheric manifold. Specifically, we leverage the inherent similarity between items' multimodal data to calibrate their uniformity distribution, thereby inducing a more pronounced repulsive force between dissimilar entities within the embedding space. A theoretical analysis elucidates the relationship between this calibrated uniformity loss and the conventional uniformity function. Moreover, to enhance the fusion of multimodal features, we introduce a Spherical B\'ezier method designed to integrate an arbitrary number of modalities while ensuring that the resulting fused features are constrained to the same hyperspherical manifold. Empirical evaluations conducted on five real-world datasets substantiate the superiority of our approach over competing baselines. We also shown that the proposed methods can achieve up to a 5.4% increase in NDCG@20 performance via the integration of MLLM-extracted features. Source code is available at: https://github.com/enoche/CM3.