Affinement de l'apprentissage contrastif et des relations d'homographie pour la recommandation multimodale

Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation

August 19, 2025

papers.authors: Shouxing Ma, Yawen Zeng, Shiqing Wu, Guandong Xu

cs.AI

papers.abstract

Le système de recommandation multimodal se concentre sur l'utilisation d'informations riches provenant de différentes modalités (c'est-à-dire les images et les descriptions textuelles) des éléments pour améliorer les performances de recommandation. Les méthodes actuelles ont obtenu un succès remarquable grâce à la puissante capacité de modélisation structurelle des réseaux de neurones graphiques. Cependant, ces méthodes sont souvent entravées par la rareté des données dans les scénarios réels. Bien que l'apprentissage contrastif et l'homographie (c'est-à-dire les graphes homogènes) soient utilisés pour relever le défi de la rareté des données, les méthodes existantes souffrent encore de deux limitations principales : 1) Les contrastes simples des caractéristiques multimodales ne parviennent pas à produire des représentations efficaces, entraînant des caractéristiques partagées entre modalités bruyantes et la perte d'informations précieuses dans les caractéristiques uniques à chaque modalité ; 2) Le manque d'exploration des relations homographiques entre les intérêts des utilisateurs et la co-occurrence des éléments entraîne une exploitation incomplète de l'interaction utilisateur-élément. Pour remédier à ces limitations, nous proposons un nouveau cadre pour l'affinage de l'apprentissage contrastif multimodal et des relations d'homographie (REARM). Plus précisément, nous complétons l'apprentissage contrastif multimodal en employant des stratégies de méta-réseau et de contrainte orthogonale, qui filtrent le bruit dans les caractéristiques partagées entre modalités et conservent les informations pertinentes pour la recommandation dans les caractéristiques uniques à chaque modalité. Pour exploiter efficacement les relations homogènes, nous intégrons un graphe d'intérêts des utilisateurs nouvellement construit et un graphe de co-occurrence des éléments avec les graphes existants de co-occurrence des utilisateurs et de sémantique des éléments pour l'apprentissage sur graphes. Les expériences approfondies sur trois ensembles de données réels démontrent la supériorité de REARM par rapport à diverses méthodes de référence de pointe. Notre visualisation montre en outre une amélioration apportée par REARM dans la distinction entre les caractéristiques partagées et uniques entre modalités. Le code est disponible {ici} : https://github.com/MrShouxingMa/REARM.

English

Multi-modal recommender system focuses on utilizing rich modal information ( i.e., images and textual descriptions) of items to improve recommendation performance. The current methods have achieved remarkable success with the powerful structure modeling capability of graph neural networks. However, these methods are often hindered by sparse data in real-world scenarios. Although contrastive learning and homography ( i.e., homogeneous graphs) are employed to address the data sparsity challenge, existing methods still suffer two main limitations: 1) Simple multi-modal feature contrasts fail to produce effective representations, causing noisy modal-shared features and loss of valuable information in modal-unique features; 2) The lack of exploration of the homograph relations between user interests and item co-occurrence results in incomplete mining of user-item interplay. To address the above limitations, we propose a novel framework for REfining multi-modAl contRastive learning and hoMography relations (REARM). Specifically, we complement multi-modal contrastive learning by employing meta-network and orthogonal constraint strategies, which filter out noise in modal-shared features and retain recommendation-relevant information in modal-unique features. To mine homogeneous relationships effectively, we integrate a newly constructed user interest graph and an item co-occurrence graph with the existing user co-occurrence and item semantic graphs for graph learning. The extensive experiments on three real-world datasets demonstrate the superiority of REARM to various state-of-the-art baselines. Our visualization further shows an improvement made by REARM in distinguishing between modal-shared and modal-unique features. Code is available https://github.com/MrShouxingMa/REARM{here}.