Estrazione di Concetti Monosemantici Consapevoli dell'Interazione nei Sistemi di Raccomandazione

Extracting Interaction-Aware Monosemantic Concepts in Recommender Systems

November 22, 2025

Autori: Dor Arviv, Yehonatan Elisha, Oren Barkan, Noam Koenigstein

cs.AI

Abstract

Presentiamo un metodo per estrarre neuroni monosemantici, definiti come dimensioni latenti che si allineano con concetti coerenti e interpretabili, dagli embedding di utenti e item nei sistemi di raccomandazione. Il nostro approccio utilizza un Autoencoder Sparso (SAE) per rivelare la struttura semantica all'interno di rappresentazioni pre-addestrate. A differenza del lavoro sui modelli linguistici, la monosemanticità nella raccomandazione deve preservare le interazioni tra i distinti embedding di utenti e item. Per raggiungere questo obiettivo, introduciamo una funzione di costo *prediction aware* che propaga l'errore all'indietro attraverso un raccomandatore congelato e allinea la struttura latente appresa con le previsioni di affinità utente-item del modello. I neuroni risultanti catturano proprietà come genere, popolarità e tendenze temporali, e supportano operazioni di controllo *post hoc* inclusi filtraggio mirato e promozione di contenuti senza modificare il modello base. Il nostro metodo generalizza su diversi modelli di raccomandazione e dataset, fornendo uno strumento pratico per una personalizzazione interpretabile e controllabile. Codice e risorse per la valutazione sono disponibili su https://github.com/DeltaLabTLV/Monosemanticity4Rec.

English

We present a method for extracting monosemantic neurons, defined as latent dimensions that align with coherent and interpretable concepts, from user and item embeddings in recommender systems. Our approach employs a Sparse Autoencoder (SAE) to reveal semantic structure within pretrained representations. In contrast to work on language models, monosemanticity in recommendation must preserve the interactions between separate user and item embeddings. To achieve this, we introduce a prediction aware training objective that backpropagates through a frozen recommender and aligns the learned latent structure with the model's user-item affinity predictions. The resulting neurons capture properties such as genre, popularity, and temporal trends, and support post hoc control operations including targeted filtering and content promotion without modifying the base model. Our method generalizes across different recommendation models and datasets, providing a practical tool for interpretable and controllable personalization. Code and evaluation resources are available at https://github.com/DeltaLabTLV/Monosemanticity4Rec.