Descomposición de Activaciones de MLP en Características Interpretables mediante Factorización de Matrices Semi-Nonnegativas
Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization
June 12, 2025
Autores: Or Shafran, Atticus Geiger, Mor Geva
cs.AI
Resumen
Un objetivo central de la interpretabilidad mecanicista ha sido identificar las unidades de análisis adecuadas en los modelos de lenguaje de gran escala (LLMs) que explican causalmente sus salidas. Si bien los primeros trabajos se centraron en neuronas individuales, la evidencia de que las neuronas a menudo codifican múltiples conceptos ha motivado un cambio hacia el análisis de direcciones en el espacio de activación. Una pregunta clave es cómo encontrar direcciones que capturen características interpretables de manera no supervisada. Los métodos actuales se basan en el aprendizaje de diccionarios con autoencoders dispersos (SAEs), comúnmente entrenados sobre activaciones del flujo residual para aprender direcciones desde cero. Sin embargo, los SAEs a menudo tienen dificultades en evaluaciones causales y carecen de interpretabilidad intrínseca, ya que su aprendizaje no está explícitamente vinculado a los cálculos del modelo. Aquí, abordamos estas limitaciones descomponiendo directamente las activaciones de las MLP mediante factorización matricial semi-no negativa (SNMF), de modo que las características aprendidas sean (a) combinaciones lineales dispersas de neuronas coactivadas, y (b) mapeadas a sus entradas activadoras, lo que las hace directamente interpretables. Los experimentos en Llama 3.1, Gemma 2 y GPT-2 muestran que las características derivadas de SNMF superan a los SAEs y a una línea base supervisada fuerte (diferencia de medias) en la dirección causal, al tiempo que se alinean con conceptos interpretables para humanos. Un análisis adicional revela que combinaciones específicas de neuronas se reutilizan en características semánticamente relacionadas, exponiendo una estructura jerárquica en el espacio de activación de las MLP. En conjunto, estos resultados posicionan a SNMF como una herramienta simple y efectiva para identificar características interpretables y diseccionar representaciones de conceptos en LLMs.
English
A central goal for mechanistic interpretability has been to identify the
right units of analysis in large language models (LLMs) that causally explain
their outputs. While early work focused on individual neurons, evidence that
neurons often encode multiple concepts has motivated a shift toward analyzing
directions in activation space. A key question is how to find directions that
capture interpretable features in an unsupervised manner. Current methods rely
on dictionary learning with sparse autoencoders (SAEs), commonly trained over
residual stream activations to learn directions from scratch. However, SAEs
often struggle in causal evaluations and lack intrinsic interpretability, as
their learning is not explicitly tied to the computations of the model. Here,
we tackle these limitations by directly decomposing MLP activations with
semi-nonnegative matrix factorization (SNMF), such that the learned features
are (a) sparse linear combinations of co-activated neurons, and (b) mapped to
their activating inputs, making them directly interpretable. Experiments on
Llama 3.1, Gemma 2 and GPT-2 show that SNMF derived features outperform SAEs
and a strong supervised baseline (difference-in-means) on causal steering,
while aligning with human-interpretable concepts. Further analysis reveals that
specific neuron combinations are reused across semantically-related features,
exposing a hierarchical structure in the MLP's activation space. Together,
these results position SNMF as a simple and effective tool for identifying
interpretable features and dissecting concept representations in LLMs.