Extração de Conceitos Monossemânticos Conscientes da Interação em Sistemas de Recomendação

Extracting Interaction-Aware Monosemantic Concepts in Recommender Systems

November 22, 2025

Autores: Dor Arviv, Yehonatan Elisha, Oren Barkan, Noam Koenigstein

cs.AI

Resumo

Apresentamos um método para extrair neurônios monossemânticos, definidos como dimensões latentes que se alinham com conceitos coerentes e interpretáveis, a partir de embeddings de usuários e itens em sistemas de recomendação. Nossa abordagem emprega um Autoencoder Esparso (SAE) para revelar a estrutura semântica dentro de representações pré-treinadas. Em contraste com o trabalho em modelos de linguagem, a monossemanticidade na recomendação deve preservar as interações entre os embeddings separados de usuários e itens. Para alcançar isso, introduzimos um objetivo de treinamento com consciência da predição que retropropaga o erro através de um recomendador congelado e alinha a estrutura latente aprendida com as previsões de afinidade usuário-item do modelo. Os neurônios resultantes capturam propriedades como gênero, popularidade e tendências temporais, e suportam operações de controle post hoc, incluindo filtragem direcionada e promoção de conteúdo sem modificar o modelo base. Nosso método generaliza-se entre diferentes modelos de recomendação e conjuntos de dados, fornecendo uma ferramenta prática para personalização interpretável e controlável. Código e recursos de avaliação estão disponíveis em https://github.com/DeltaLabTLV/Monosemanticity4Rec.

English

We present a method for extracting monosemantic neurons, defined as latent dimensions that align with coherent and interpretable concepts, from user and item embeddings in recommender systems. Our approach employs a Sparse Autoencoder (SAE) to reveal semantic structure within pretrained representations. In contrast to work on language models, monosemanticity in recommendation must preserve the interactions between separate user and item embeddings. To achieve this, we introduce a prediction aware training objective that backpropagates through a frozen recommender and aligns the learned latent structure with the model's user-item affinity predictions. The resulting neurons capture properties such as genre, popularity, and temporal trends, and support post hoc control operations including targeted filtering and content promotion without modifying the base model. Our method generalizes across different recommendation models and datasets, providing a practical tool for interpretable and controllable personalization. Code and evaluation resources are available at https://github.com/DeltaLabTLV/Monosemanticity4Rec.