Разложение активаций многослойного перцептрона на интерпретируемые признаки с использованием полунеотрицательного матричного разложения

Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization

June 12, 2025

Авторы: Or Shafran, Atticus Geiger, Mor Geva

cs.AI

Аннотация

Основной целью механистической интерпретируемости является определение подходящих единиц анализа в больших языковых моделях (LLM), которые каузально объясняют их выходные данные. Хотя ранние исследования сосредотачивались на отдельных нейронах, доказательства того, что нейроны часто кодируют несколько концепций, стимулировали переход к анализу направлений в пространстве активаций. Ключевой вопрос заключается в том, как найти направления, которые захватывают интерпретируемые признаки в неконтролируемом режиме. Современные методы опираются на словарное обучение с использованием разреженных автокодировщиков (SAE), которые обычно обучаются на активациях остаточного потока для изучения направлений с нуля. Однако SAE часто сталкиваются с трудностями в каузальных оценках и не обладают внутренней интерпретируемостью, поскольку их обучение явно не связано с вычислениями модели. В данной работе мы преодолеваем эти ограничения, непосредственно разлагая активации MLP с помощью полунеотрицательной матричной факторизации (SNMF), так что изученные признаки представляют собой (а) разреженные линейные комбинации совместно активируемых нейронов и (б) отображаются на их активирующие входы, что делает их непосредственно интерпретируемыми. Эксперименты на моделях Llama 3.1, Gemma 2 и GPT-2 показывают, что признаки, полученные с помощью SNMF, превосходят SAE и сильный контролируемый базовый метод (разность средних) в каузальном управлении, одновременно согласуясь с интерпретируемыми человеком концепциями. Дополнительный анализ выявляет, что определенные комбинации нейронов повторно используются в семантически связанных признаках, раскрывая иерархическую структуру в пространстве активаций MLP. В совокупности эти результаты позиционируют SNMF как простой и эффективный инструмент для идентификации интерпретируемых признаков и анализа представлений концепций в LLM.

English

A central goal for mechanistic interpretability has been to identify the right units of analysis in large language models (LLMs) that causally explain their outputs. While early work focused on individual neurons, evidence that neurons often encode multiple concepts has motivated a shift toward analyzing directions in activation space. A key question is how to find directions that capture interpretable features in an unsupervised manner. Current methods rely on dictionary learning with sparse autoencoders (SAEs), commonly trained over residual stream activations to learn directions from scratch. However, SAEs often struggle in causal evaluations and lack intrinsic interpretability, as their learning is not explicitly tied to the computations of the model. Here, we tackle these limitations by directly decomposing MLP activations with semi-nonnegative matrix factorization (SNMF), such that the learned features are (a) sparse linear combinations of co-activated neurons, and (b) mapped to their activating inputs, making them directly interpretable. Experiments on Llama 3.1, Gemma 2 and GPT-2 show that SNMF derived features outperform SAEs and a strong supervised baseline (difference-in-means) on causal steering, while aligning with human-interpretable concepts. Further analysis reveals that specific neuron combinations are reused across semantically-related features, exposing a hierarchical structure in the MLP's activation space. Together, these results position SNMF as a simple and effective tool for identifying interpretable features and dissecting concept representations in LLMs.