Decompondo Ativações de MLP em Características Interpretáveis por meio de Fatoração de Matriz Semi-Não Negativa
Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization
June 12, 2025
Autores: Or Shafran, Atticus Geiger, Mor Geva
cs.AI
Resumo
Um objetivo central da interpretabilidade mecanicista tem sido identificar as unidades de análise corretas em grandes modelos de linguagem (LLMs) que explicam causalmente suas saídas. Embora trabalhos iniciais tenham se concentrado em neurônios individuais, evidências de que neurônios frequentemente codificam múltiplos conceitos motivaram uma mudança em direção à análise de direções no espaço de ativação. Uma questão-chave é como encontrar direções que capturem características interpretáveis de maneira não supervisionada. Métodos atuais dependem de aprendizado de dicionário com autoencoders esparsos (SAEs), comumente treinados sobre ativações do fluxo residual para aprender direções do zero. No entanto, SAEs frequentemente enfrentam dificuldades em avaliações causais e carecem de interpretabilidade intrínseca, pois seu aprendizado não está explicitamente vinculado às computações do modelo. Aqui, abordamos essas limitações decompondo diretamente as ativações de MLPs com fatoração matricial semi-não negativa (SNMF), de modo que as características aprendidas sejam (a) combinações lineares esparsas de neurônios co-ativados e (b) mapeadas para suas entradas ativadoras, tornando-as diretamente interpretáveis. Experimentos com Llama 3.1, Gemma 2 e GPT-2 mostram que características derivadas de SNMF superam SAEs e uma linha de base supervisionada forte (diferença de médias) em direcionamento causal, enquanto se alinham com conceitos interpretáveis por humanos. Análises adicionais revelam que combinações específicas de neurônios são reutilizadas em características semanticamente relacionadas, expondo uma estrutura hierárquica no espaço de ativação do MLP. Juntos, esses resultados posicionam a SNMF como uma ferramenta simples e eficaz para identificar características interpretáveis e dissecar representações de conceitos em LLMs.
English
A central goal for mechanistic interpretability has been to identify the
right units of analysis in large language models (LLMs) that causally explain
their outputs. While early work focused on individual neurons, evidence that
neurons often encode multiple concepts has motivated a shift toward analyzing
directions in activation space. A key question is how to find directions that
capture interpretable features in an unsupervised manner. Current methods rely
on dictionary learning with sparse autoencoders (SAEs), commonly trained over
residual stream activations to learn directions from scratch. However, SAEs
often struggle in causal evaluations and lack intrinsic interpretability, as
their learning is not explicitly tied to the computations of the model. Here,
we tackle these limitations by directly decomposing MLP activations with
semi-nonnegative matrix factorization (SNMF), such that the learned features
are (a) sparse linear combinations of co-activated neurons, and (b) mapped to
their activating inputs, making them directly interpretable. Experiments on
Llama 3.1, Gemma 2 and GPT-2 show that SNMF derived features outperform SAEs
and a strong supervised baseline (difference-in-means) on causal steering,
while aligning with human-interpretable concepts. Further analysis reveals that
specific neuron combinations are reused across semantically-related features,
exposing a hierarchical structure in the MLP's activation space. Together,
these results position SNMF as a simple and effective tool for identifying
interpretable features and dissecting concept representations in LLMs.