推薦システムにおけるインタラクション対応の単義的概念の抽出

要旨

推薦システムにおけるユーザー埋め込みとアイテム埋め込みから、一貫性のある解釈可能な概念と整合する潜在次元として定義される単義的ニューロンを抽出する手法を提案する。本手法は、事前学習済み表現内の意味的構造を明らかにするためにスパース自己符号化器（SAE）を採用する。言語モデルに関する研究とは異なり、推薦システムにおける単義性は、個別のユーザー埋め込みとアイテム埋め込み間の相互作用を保持しなければならない。これを実現するため、凍結された推薦モデルを介した誤差逆伝播を行い、学習された潜在構造をモデルのユーザー-アイテム親和性予測と整合させる、予測を考慮した学習目的関数を導入する。その結果得られるニューロンは、ジャンル、人気度、時間的トレンドなどの特性を捉え、ベースモデルを変更することなく、特定のフィルタリングやコンテンツプロモーションを含む事後制御操作を可能にする。本手法は様々な推薦モデルとデータセットに汎化し、解釈可能かつ制御可能なパーソナライゼーションのための実用的なツールを提供する。コードおよび評価リソースはhttps://github.com/DeltaLabTLV/Monosemanticity4Recで公開されている。

English

We present a method for extracting monosemantic neurons, defined as latent dimensions that align with coherent and interpretable concepts, from user and item embeddings in recommender systems. Our approach employs a Sparse Autoencoder (SAE) to reveal semantic structure within pretrained representations. In contrast to work on language models, monosemanticity in recommendation must preserve the interactions between separate user and item embeddings. To achieve this, we introduce a prediction aware training objective that backpropagates through a frozen recommender and aligns the learned latent structure with the model's user-item affinity predictions. The resulting neurons capture properties such as genre, popularity, and temporal trends, and support post hoc control operations including targeted filtering and content promotion without modifying the base model. Our method generalizes across different recommendation models and datasets, providing a practical tool for interpretable and controllable personalization. Code and evaluation resources are available at https://github.com/DeltaLabTLV/Monosemanticity4Rec.

推薦システムにおけるインタラクション対応の単義的概念の抽出

Extracting Interaction-Aware Monosemantic Concepts in Recommender Systems

要旨

Support