Extraction de concepts monosémiques sensibles aux interactions dans les systèmes de recommandation

Extracting Interaction-Aware Monosemantic Concepts in Recommender Systems

November 22, 2025

papers.authors: Dor Arviv, Yehonatan Elisha, Oren Barkan, Noam Koenigstein

cs.AI

papers.abstract

Nous présentons une méthode pour extraire des neurones monosémantiques, définis comme des dimensions latentes alignées avec des concepts cohérents et interprétables, à partir des embeddings d'utilisateurs et d'articles dans les systèmes de recommandation. Notre approche utilise un Autoencodeur Sparse (SAE) pour révéler la structure sémantique au sein des représentations préentraînées. Contrairement aux travaux sur les modèles de langage, la monosémanticité en recommandation doit préserver les interactions entre les embeddings distincts des utilisateurs et des articles. Pour y parvenir, nous introduisons un objectif d'entraînement sensible à la prédiction qui rétropropage les gradients à travers un système de recommandation figé et aligne la structure latente apprise avec les prédictions d'affinité utilisateur-article du modèle. Les neurones résultants capturent des propriétés telles que le genre, la popularité et les tendances temporelles, et permettent des opérations de contrôle a posteriori incluant le filtrage ciblé et la promotion de contenu sans modifier le modèle de base. Notre méthode généralise à différents modèles de recommandation et jeux de données, offrant un outil pratique pour une personnalisation interprétable et contrôlable. Le code et les ressources d'évaluation sont disponibles à l'adresse https://github.com/DeltaLabTLV/Monosemanticity4Rec.

English

We present a method for extracting monosemantic neurons, defined as latent dimensions that align with coherent and interpretable concepts, from user and item embeddings in recommender systems. Our approach employs a Sparse Autoencoder (SAE) to reveal semantic structure within pretrained representations. In contrast to work on language models, monosemanticity in recommendation must preserve the interactions between separate user and item embeddings. To achieve this, we introduce a prediction aware training objective that backpropagates through a frozen recommender and aligns the learned latent structure with the model's user-item affinity predictions. The resulting neurons capture properties such as genre, popularity, and temporal trends, and support post hoc control operations including targeted filtering and content promotion without modifying the base model. Our method generalizes across different recommendation models and datasets, providing a practical tool for interpretable and controllable personalization. Code and evaluation resources are available at https://github.com/DeltaLabTLV/Monosemanticity4Rec.