Scomposizione delle attivazioni MLP in caratteristiche interpretabili tramite fattorizzazione semi-non negativa di matrici

Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization

June 12, 2025

Autori: Or Shafran, Atticus Geiger, Mor Geva

cs.AI

Abstract

Un obiettivo centrale per l'interpretabilità meccanicistica è stato quello di identificare le unità di analisi appropriate nei grandi modelli linguistici (LLM) che spieghino causalmente i loro output. Mentre i primi lavori si concentravano sui singoli neuroni, l'evidenza che i neuroni spesso codificano più concetti ha motivato un passaggio verso l'analisi delle direzioni nello spazio di attivazione. Una domanda chiave è come trovare direzioni che catturino caratteristiche interpretabili in modo non supervisionato. I metodi attuali si basano sull'apprendimento di dizionari con autoencoder sparsi (SAE), comunemente addestrati sulle attivazioni del flusso residuo per apprendere direzioni da zero. Tuttavia, gli SAE spesso incontrano difficoltà nelle valutazioni causali e mancano di interpretabilità intrinseca, poiché il loro apprendimento non è esplicitamente legato ai calcoli del modello. Qui, affrontiamo queste limitazioni decomponendo direttamente le attivazioni degli MLP con la fattorizzazione semi-non negativa di matrici (SNMF), in modo che le caratteristiche apprese siano (a) combinazioni lineari sparse di neuroni co-attivati e (b) mappate ai loro input attivanti, rendendole direttamente interpretabili. Esperimenti su Llama 3.1, Gemma 2 e GPT-2 mostrano che le caratteristiche derivate da SNMF superano gli SAE e una forte baseline supervisionata (differenza nelle medie) nel controllo causale, allineandosi con concetti interpretabili dall'uomo. Un'ulteriore analisi rivela che combinazioni specifiche di neuroni vengono riutilizzate tra caratteristiche semanticamente correlate, esponendo una struttura gerarchica nello spazio di attivazione dell'MLP. Insieme, questi risultati posizionano la SNMF come uno strumento semplice ed efficace per identificare caratteristiche interpretabili e scomporre le rappresentazioni di concetti negli LLM.

English

A central goal for mechanistic interpretability has been to identify the right units of analysis in large language models (LLMs) that causally explain their outputs. While early work focused on individual neurons, evidence that neurons often encode multiple concepts has motivated a shift toward analyzing directions in activation space. A key question is how to find directions that capture interpretable features in an unsupervised manner. Current methods rely on dictionary learning with sparse autoencoders (SAEs), commonly trained over residual stream activations to learn directions from scratch. However, SAEs often struggle in causal evaluations and lack intrinsic interpretability, as their learning is not explicitly tied to the computations of the model. Here, we tackle these limitations by directly decomposing MLP activations with semi-nonnegative matrix factorization (SNMF), such that the learned features are (a) sparse linear combinations of co-activated neurons, and (b) mapped to their activating inputs, making them directly interpretable. Experiments on Llama 3.1, Gemma 2 and GPT-2 show that SNMF derived features outperform SAEs and a strong supervised baseline (difference-in-means) on causal steering, while aligning with human-interpretable concepts. Further analysis reveals that specific neuron combinations are reused across semantically-related features, exposing a hierarchical structure in the MLP's activation space. Together, these results position SNMF as a simple and effective tool for identifying interpretable features and dissecting concept representations in LLMs.