Refinando o Aprendizado Contrastivo e as Relações de Homografia para Recomendação Multimodal

Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation

August 19, 2025

Autores: Shouxing Ma, Yawen Zeng, Shiqing Wu, Guandong Xu

cs.AI

Resumo

O sistema de recomendação multimodal concentra-se em utilizar informações ricas de diferentes modalidades (ou seja, imagens e descrições textuais) dos itens para melhorar o desempenho da recomendação. Os métodos atuais alcançaram sucesso notável com a poderosa capacidade de modelagem estrutural das redes neurais em grafos. No entanto, esses métodos frequentemente são prejudicados pela escassez de dados em cenários do mundo real. Embora o aprendizado contrastivo e a homografia (ou seja, grafos homogêneos) sejam empregados para enfrentar o desafio da escassez de dados, os métodos existentes ainda sofrem com duas limitações principais: 1) Contrastes simples de características multimodais falham em produzir representações eficazes, resultando em características compartilhadas entre modalidades ruidosas e perda de informações valiosas nas características únicas de cada modalidade; 2) A falta de exploração das relações homográficas entre os interesses do usuário e a co-ocorrência de itens resulta em uma mineração incompleta da interação usuário-item. Para abordar as limitações acima, propomos uma nova estrutura para Refinar o aprendizado contrastivo multimodal e as relações de homografia (REARM). Especificamente, complementamos o aprendizado contrastivo multimodal empregando estratégias de meta-rede e restrições ortogonais, que filtram o ruído nas características compartilhadas entre modalidades e retêm informações relevantes para a recomendação nas características únicas de cada modalidade. Para minerar efetivamente as relações homogêneas, integramos um novo grafo de interesses do usuário e um grafo de co-ocorrência de itens com os grafos existentes de co-ocorrência de usuários e semântica de itens para o aprendizado em grafos. Os extensos experimentos em três conjuntos de dados do mundo real demonstram a superioridade do REARM em relação a várias linhas de base state-of-the-art. Nossa visualização mostra ainda uma melhoria feita pelo REARM na distinção entre características compartilhadas e únicas de cada modalidade. O código está disponível {aqui} https://github.com/MrShouxingMa/REARM.

English

Multi-modal recommender system focuses on utilizing rich modal information ( i.e., images and textual descriptions) of items to improve recommendation performance. The current methods have achieved remarkable success with the powerful structure modeling capability of graph neural networks. However, these methods are often hindered by sparse data in real-world scenarios. Although contrastive learning and homography ( i.e., homogeneous graphs) are employed to address the data sparsity challenge, existing methods still suffer two main limitations: 1) Simple multi-modal feature contrasts fail to produce effective representations, causing noisy modal-shared features and loss of valuable information in modal-unique features; 2) The lack of exploration of the homograph relations between user interests and item co-occurrence results in incomplete mining of user-item interplay. To address the above limitations, we propose a novel framework for REfining multi-modAl contRastive learning and hoMography relations (REARM). Specifically, we complement multi-modal contrastive learning by employing meta-network and orthogonal constraint strategies, which filter out noise in modal-shared features and retain recommendation-relevant information in modal-unique features. To mine homogeneous relationships effectively, we integrate a newly constructed user interest graph and an item co-occurrence graph with the existing user co-occurrence and item semantic graphs for graph learning. The extensive experiments on three real-world datasets demonstrate the superiority of REARM to various state-of-the-art baselines. Our visualization further shows an improvement made by REARM in distinguishing between modal-shared and modal-unique features. Code is available https://github.com/MrShouxingMa/REARM{here}.