Усовершенствование контрастного обучения и гомографических отношений для многомодальных рекомендательных систем

Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation

August 19, 2025

Авторы: Shouxing Ma, Yawen Zeng, Shiqing Wu, Guandong Xu

cs.AI

Аннотация

Мультимодальные системы рекомендаций сосредоточены на использовании богатой модальной информации (например, изображений и текстовых описаний) элементов для повышения качества рекомендаций. Современные методы достигли значительных успехов благодаря мощным возможностям моделирования структуры с использованием графовых нейронных сетей. Однако эти методы часто сталкиваются с проблемой разреженности данных в реальных сценариях. Хотя контрастивное обучение и гомография (т.е. однородные графы) применяются для решения проблемы разреженности данных, существующие методы все еще имеют два основных ограничения: 1) Простые контрасты мультимодальных признаков не позволяют получить эффективные представления, что приводит к шуму в общих модальных признаках и потере ценной информации в уникальных модальных признаках; 2) Недостаточное исследование гомографических отношений между интересами пользователей и совместным появлением элементов приводит к неполному анализу взаимодействия пользователей и элементов. Для устранения этих ограничений мы предлагаем новую структуру для уточнения мультимодального контрастивного обучения и гомографических отношений (REARM). В частности, мы дополняем мультимодальное контрастивное обучение, используя стратегии мета-сети и ортогональных ограничений, которые фильтруют шум в общих модальных признаках и сохраняют информацию, релевантную для рекомендаций, в уникальных модальных признаках. Для эффективного анализа однородных отношений мы интегрируем вновь построенный граф интересов пользователей и граф совместного появления элементов с существующими графами совместного появления пользователей и семантическими графами элементов для обучения на графах. Эксперименты на трех реальных наборах данных демонстрируют превосходство REARM по сравнению с различными современными базовыми методами. Наша визуализация также показывает улучшение, достигнутое REARM в различении общих и уникальных модальных признаков. Код доступен по ссылке: https://github.com/MrShouxingMa/REARM{здесь}.

English

Multi-modal recommender system focuses on utilizing rich modal information ( i.e., images and textual descriptions) of items to improve recommendation performance. The current methods have achieved remarkable success with the powerful structure modeling capability of graph neural networks. However, these methods are often hindered by sparse data in real-world scenarios. Although contrastive learning and homography ( i.e., homogeneous graphs) are employed to address the data sparsity challenge, existing methods still suffer two main limitations: 1) Simple multi-modal feature contrasts fail to produce effective representations, causing noisy modal-shared features and loss of valuable information in modal-unique features; 2) The lack of exploration of the homograph relations between user interests and item co-occurrence results in incomplete mining of user-item interplay. To address the above limitations, we propose a novel framework for REfining multi-modAl contRastive learning and hoMography relations (REARM). Specifically, we complement multi-modal contrastive learning by employing meta-network and orthogonal constraint strategies, which filter out noise in modal-shared features and retain recommendation-relevant information in modal-unique features. To mine homogeneous relationships effectively, we integrate a newly constructed user interest graph and an item co-occurrence graph with the existing user co-occurrence and item semantic graphs for graph learning. The extensive experiments on three real-world datasets demonstrate the superiority of REARM to various state-of-the-art baselines. Our visualization further shows an improvement made by REARM in distinguishing between modal-shared and modal-unique features. Code is available https://github.com/MrShouxingMa/REARM{here}.