Verfeinerung von kontrastivem Lernen und Homographie-Beziehungen für Multi-Modale Empfehlungssysteme

Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation

August 19, 2025

papers.authors: Shouxing Ma, Yawen Zeng, Shiqing Wu, Guandong Xu

cs.AI

papers.abstract

Multi-modale Empfehlungssysteme konzentrieren sich darauf, reichhaltige modale Informationen (z. B. Bilder und textuelle Beschreibungen) von Artikeln zu nutzen, um die Empfehlungsleistung zu verbessern. Die aktuellen Methoden haben mit der leistungsstarken Strukturmodellierungsfähigkeit von Graph-Neuronalen Netzen bemerkenswerte Erfolge erzielt. Diese Methoden werden jedoch oft durch spärliche Daten in realen Szenarien behindert. Obwohl kontrastives Lernen und Homographie (d. h. homogene Graphen) eingesetzt werden, um die Herausforderung der Datensparsamkeit zu bewältigen, leiden bestehende Methoden immer noch unter zwei Hauptbeschränkungen: 1) Einfache kontrastive Multi-Modal-Features erzeugen keine effektiven Repräsentationen, was zu verrauschten modal-übergreifenden Features und dem Verlust wertvoller Informationen in modal-eindeutigen Features führt; 2) Die mangelnde Erforschung der homographischen Beziehungen zwischen Benutzerinteressen und Artikel-Kookkurrenz führt zu einer unvollständigen Erschließung der Benutzer-Artikel-Interaktion. Um diese Einschränkungen zu überwinden, schlagen wir ein neuartiges Framework zur Verfeinerung von kontrastivem Multi-Modal-Lernen und Homographie-Beziehungen (REARM) vor. Konkret ergänzen wir das kontrastive Multi-Modal-Lernen durch den Einsatz von Meta-Netzwerk- und orthogonalen Beschränkungsstrategien, die Rauschen in modal-übergreifenden Features herausfiltern und empfehlungsrelevante Informationen in modal-eindeutigen Features bewahren. Um homogene Beziehungen effektiv zu erschließen, integrieren wir einen neu konstruierten Benutzerinteressen-Graphen und einen Artikel-Kookkurrenz-Graphen mit den bestehenden Benutzer-Kookkurrenz- und Artikel-Semantik-Graphen für das Graph-Lernen. Umfangreiche Experimente auf drei realen Datensätzen demonstrieren die Überlegenheit von REARM gegenüber verschiedenen state-of-the-art Baselines. Unsere Visualisierung zeigt weiterhin eine Verbesserung durch REARM bei der Unterscheidung zwischen modal-übergreifenden und modal-eindeutigen Features. Der Code ist verfügbar unter https://github.com/MrShouxingMa/REARM{hier}.

English

Multi-modal recommender system focuses on utilizing rich modal information ( i.e., images and textual descriptions) of items to improve recommendation performance. The current methods have achieved remarkable success with the powerful structure modeling capability of graph neural networks. However, these methods are often hindered by sparse data in real-world scenarios. Although contrastive learning and homography ( i.e., homogeneous graphs) are employed to address the data sparsity challenge, existing methods still suffer two main limitations: 1) Simple multi-modal feature contrasts fail to produce effective representations, causing noisy modal-shared features and loss of valuable information in modal-unique features; 2) The lack of exploration of the homograph relations between user interests and item co-occurrence results in incomplete mining of user-item interplay. To address the above limitations, we propose a novel framework for REfining multi-modAl contRastive learning and hoMography relations (REARM). Specifically, we complement multi-modal contrastive learning by employing meta-network and orthogonal constraint strategies, which filter out noise in modal-shared features and retain recommendation-relevant information in modal-unique features. To mine homogeneous relationships effectively, we integrate a newly constructed user interest graph and an item co-occurrence graph with the existing user co-occurrence and item semantic graphs for graph learning. The extensive experiments on three real-world datasets demonstrate the superiority of REARM to various state-of-the-art baselines. Our visualization further shows an improvement made by REARM in distinguishing between modal-shared and modal-unique features. Code is available https://github.com/MrShouxingMa/REARM{here}.