Affinamento dell'Apprendimento Contrastivo e delle Relazioni di Omografia per la Raccomandazione Multi-Modale

Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation

August 19, 2025

Autori: Shouxing Ma, Yawen Zeng, Shiqing Wu, Guandong Xu

cs.AI

Abstract

I sistemi di raccomandazione multi-modali si concentrano sull'utilizzo di informazioni modali ricche (ad esempio, immagini e descrizioni testuali) degli elementi per migliorare le prestazioni di raccomandazione. I metodi attuali hanno ottenuto un notevole successo grazie alla potente capacità di modellazione strutturale delle reti neurali a grafo. Tuttavia, questi metodi sono spesso ostacolati dalla scarsità di dati negli scenari reali. Sebbene l'apprendimento contrastivo e l'omografia (ad esempio, grafi omogenei) siano impiegati per affrontare la sfida della scarsità di dati, i metodi esistenti soffrono ancora di due principali limitazioni: 1) I semplici contrasti di caratteristiche multi-modali non riescono a produrre rappresentazioni efficaci, causando caratteristiche condivise tra le modalità rumorose e la perdita di informazioni preziose nelle caratteristiche uniche delle modalità; 2) La mancanza di esplorazione delle relazioni omografe tra gli interessi degli utenti e la co-occorrenza degli elementi porta a un'estrazione incompleta dell'interazione utente-elemento. Per affrontare le suddette limitazioni, proponiamo un nuovo framework per l'affinamento dell'apprendimento contrastivo multi-modale e delle relazioni omografe (REARM). Nello specifico, integriamo l'apprendimento contrastivo multi-modale utilizzando strategie di meta-rete e vincoli ortogonali, che filtrano il rumore nelle caratteristiche condivise tra le modalità e conservano le informazioni rilevanti per la raccomandazione nelle caratteristiche uniche delle modalità. Per estrarre efficacemente le relazioni omogenee, integriamo un grafo degli interessi degli utenti appena costruito e un grafo di co-occorrenza degli elementi con i grafi esistenti di co-occorrenza degli utenti e semantici degli elementi per l'apprendimento su grafo. Gli esperimenti estensivi su tre dataset del mondo reale dimostrano la superiorità di REARM rispetto a vari baseline all'avanguardia. La nostra visualizzazione mostra inoltre un miglioramento apportato da REARM nel distinguere tra caratteristiche condivise e uniche delle modalità. Il codice è disponibile {qui}https://github.com/MrShouxingMa/REARM.

English

Multi-modal recommender system focuses on utilizing rich modal information ( i.e., images and textual descriptions) of items to improve recommendation performance. The current methods have achieved remarkable success with the powerful structure modeling capability of graph neural networks. However, these methods are often hindered by sparse data in real-world scenarios. Although contrastive learning and homography ( i.e., homogeneous graphs) are employed to address the data sparsity challenge, existing methods still suffer two main limitations: 1) Simple multi-modal feature contrasts fail to produce effective representations, causing noisy modal-shared features and loss of valuable information in modal-unique features; 2) The lack of exploration of the homograph relations between user interests and item co-occurrence results in incomplete mining of user-item interplay. To address the above limitations, we propose a novel framework for REfining multi-modAl contRastive learning and hoMography relations (REARM). Specifically, we complement multi-modal contrastive learning by employing meta-network and orthogonal constraint strategies, which filter out noise in modal-shared features and retain recommendation-relevant information in modal-unique features. To mine homogeneous relationships effectively, we integrate a newly constructed user interest graph and an item co-occurrence graph with the existing user co-occurrence and item semantic graphs for graph learning. The extensive experiments on three real-world datasets demonstrate the superiority of REARM to various state-of-the-art baselines. Our visualization further shows an improvement made by REARM in distinguishing between modal-shared and modal-unique features. Code is available https://github.com/MrShouxingMa/REARM{here}.