コントラスティブ学習とホモグラフィー関係の洗練によるマルチモーダル推薦

要旨

マルチモーダル推薦システムは、アイテムの豊富なモーダル情報（例えば、画像やテキスト記述）を活用して推薦性能を向上させることに焦点を当てている。現在の手法は、グラフニューラルネットワークの強力な構造モデリング能力により顕著な成功を収めている。しかし、これらの手法は現実世界のシナリオにおけるデータの希薄さによってしばしば妨げられている。コントラスティブ学習やホモグラフィ（すなわち、同質グラフ）がデータの希薄さの課題に対処するために採用されているが、既存の手法は依然として以下の2つの主要な制限に悩まされている：1）単純なマルチモーダル特徴の対比は有効な表現を生成するのに失敗し、モーダル共有特徴におけるノイズやモーダル固有特徴における貴重な情報の損失を引き起こす；2）ユーザーの興味とアイテムの共起との間のホモグラフ関係の探索が不足しているため、ユーザーとアイテムの相互作用の不完全なマイニングが生じる。これらの制限に対処するため、我々はマルチモーダルコントラスティブ学習とホモグラフィ関係を洗練するための新しいフレームワーク（REARM）を提案する。具体的には、メタネットワークと直交制約戦略を採用してマルチモーダルコントラスティブ学習を補完し、モーダル共有特徴におけるノイズを除去し、モーダル固有特徴における推薦関連情報を保持する。同質関係を効果的にマイニングするために、新たに構築されたユーザー興味グラフとアイテム共起グラフを既存のユーザー共起グラフとアイテム意味グラフと統合してグラフ学習を行う。3つの実世界のデータセットにおける広範な実験により、REARMが様々な最先端のベースラインに対して優位性を持つことが実証された。我々の可視化はさらに、REARMがモーダル共有特徴とモーダル固有特徴を区別する上で改善をもたらすことを示している。コードはhttps://github.com/MrShouxingMa/REARM{ここ}で利用可能である。

English

Multi-modal recommender system focuses on utilizing rich modal information ( i.e., images and textual descriptions) of items to improve recommendation performance. The current methods have achieved remarkable success with the powerful structure modeling capability of graph neural networks. However, these methods are often hindered by sparse data in real-world scenarios. Although contrastive learning and homography ( i.e., homogeneous graphs) are employed to address the data sparsity challenge, existing methods still suffer two main limitations: 1) Simple multi-modal feature contrasts fail to produce effective representations, causing noisy modal-shared features and loss of valuable information in modal-unique features; 2) The lack of exploration of the homograph relations between user interests and item co-occurrence results in incomplete mining of user-item interplay. To address the above limitations, we propose a novel framework for REfining multi-modAl contRastive learning and hoMography relations (REARM). Specifically, we complement multi-modal contrastive learning by employing meta-network and orthogonal constraint strategies, which filter out noise in modal-shared features and retain recommendation-relevant information in modal-unique features. To mine homogeneous relationships effectively, we integrate a newly constructed user interest graph and an item co-occurrence graph with the existing user co-occurrence and item semantic graphs for graph learning. The extensive experiments on three real-world datasets demonstrate the superiority of REARM to various state-of-the-art baselines. Our visualization further shows an improvement made by REARM in distinguishing between modal-shared and modal-unique features. Code is available https://github.com/MrShouxingMa/REARM{here}.

コントラスティブ学習とホモグラフィー関係の洗練によるマルチモーダル推薦

Refining Contrastive Learning and Homography Relations for Multi-Modal Recommendation

要旨

Support