Извлечение интерактивных моносемантических концепций в рекомендательных системах

Extracting Interaction-Aware Monosemantic Concepts in Recommender Systems

November 22, 2025

Авторы: Dor Arviv, Yehonatan Elisha, Oren Barkan, Noam Koenigstein

cs.AI

Аннотация

Мы представляем метод извлечения моносематических нейронов, определяемых как латентные измерения, соответствующие связным и интерпретируемым концепциям, из эмбеддингов пользователей и объектов в системах рекомендаций. Наш подход использует Разреженный Автокодировщик (SAE) для выявления семантической структуры в предобученных представлениях. В отличие от работ по языковым моделям, моносематичность в рекомендациях должна сохранять взаимодействия между раздельными эмбеддингами пользователей и объектов. Для достижения этой цели мы вводим прогнозно-ориентированную функцию потерь, которая распространяет ошибку через замороженную рекомендательную систему и согласует изученную латентную структуру с прогнозами сродства между пользователями и объектами модели. Полученные нейроны захватывают такие свойства, как жанр, популярность и временные тренды, и поддерживают постфактум операции управления, включая целевое фильтрование и продвижение контента без модификации базовой модели. Наш метод обобщается на различные рекомендательные модели и наборы данных, предоставляя практический инструмент для интерпретируемой и управляемой персонализации. Код и ресурсы для оценки доступны по адресу https://github.com/DeltaLabTLV/Monosemanticity4Rec.

English

We present a method for extracting monosemantic neurons, defined as latent dimensions that align with coherent and interpretable concepts, from user and item embeddings in recommender systems. Our approach employs a Sparse Autoencoder (SAE) to reveal semantic structure within pretrained representations. In contrast to work on language models, monosemanticity in recommendation must preserve the interactions between separate user and item embeddings. To achieve this, we introduce a prediction aware training objective that backpropagates through a frozen recommender and aligns the learned latent structure with the model's user-item affinity predictions. The resulting neurons capture properties such as genre, popularity, and temporal trends, and support post hoc control operations including targeted filtering and content promotion without modifying the base model. Our method generalizes across different recommendation models and datasets, providing a practical tool for interpretable and controllable personalization. Code and evaluation resources are available at https://github.com/DeltaLabTLV/Monosemanticity4Rec.