Zerlegung von MLP-Aktivierungen in interpretierbare Merkmale mittels semi-nichtnegativer Matrixfaktorisierung

Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization

June 12, 2025

Autoren: Or Shafran, Atticus Geiger, Mor Geva

cs.AI

Zusammenfassung

Ein zentrales Ziel der mechanistischen Interpretierbarkeit war es, die richtigen Analyseeinheiten in großen Sprachmodellen (LLMs) zu identifizieren, die deren Ausgaben kausal erklären. Während sich frühere Arbeiten auf einzelne Neuronen konzentrierten, hat die Erkenntnis, dass Neuronen oft mehrere Konzepte kodieren, eine Verschiebung hin zur Analyse von Richtungen im Aktivierungsraum motiviert. Eine Schlüsselfrage ist, wie man Richtungen finden kann, die interpretierbare Merkmale auf unüberwachte Weise erfassen. Aktuelle Methoden stützen sich auf Wörterbuchlernen mit spärlichen Autoencodern (SAEs), die üblicherweise über Residualstrom-Aktivierungen trainiert werden, um Richtungen von Grund auf zu lernen. Allerdings haben SAEs oft Schwierigkeiten bei kausalen Bewertungen und mangelt es ihnen an intrinsischer Interpretierbarkeit, da ihr Lernen nicht explizit an die Berechnungen des Modells gebunden ist. Hier gehen wir diese Einschränkungen an, indem wir MLP-Aktivierungen direkt mit semi-nichtnegativer Matrixfaktorisierung (SNMF) zerlegen, sodass die gelernten Merkmale (a) spärliche lineare Kombinationen von koaktivierten Neuronen sind und (b) ihren aktivierenden Eingaben zugeordnet werden, was sie direkt interpretierbar macht. Experimente mit Llama 3.1, Gemma 2 und GPT-2 zeigen, dass SNMF-abgeleitete Merkmale SAEs und eine starke überwachte Baseline (Differenz-in-Mittelwerten) bei der kausalen Steuerung übertreffen, während sie mit menschlich interpretierbaren Konzepten übereinstimmen. Weitere Analysen zeigen, dass spezifische Neuronkombinationen über semantisch verwandte Merkmale hinweg wiederverwendet werden, was eine hierarchische Struktur im Aktivierungsraum des MLPs offenlegt. Zusammen positionieren diese Ergebnisse SNMF als ein einfaches und effektives Werkzeug zur Identifizierung interpretierbarer Merkmale und zur Zerlegung von Konzeptdarstellungen in LLMs.

English

A central goal for mechanistic interpretability has been to identify the right units of analysis in large language models (LLMs) that causally explain their outputs. While early work focused on individual neurons, evidence that neurons often encode multiple concepts has motivated a shift toward analyzing directions in activation space. A key question is how to find directions that capture interpretable features in an unsupervised manner. Current methods rely on dictionary learning with sparse autoencoders (SAEs), commonly trained over residual stream activations to learn directions from scratch. However, SAEs often struggle in causal evaluations and lack intrinsic interpretability, as their learning is not explicitly tied to the computations of the model. Here, we tackle these limitations by directly decomposing MLP activations with semi-nonnegative matrix factorization (SNMF), such that the learned features are (a) sparse linear combinations of co-activated neurons, and (b) mapped to their activating inputs, making them directly interpretable. Experiments on Llama 3.1, Gemma 2 and GPT-2 show that SNMF derived features outperform SAEs and a strong supervised baseline (difference-in-means) on causal steering, while aligning with human-interpretable concepts. Further analysis reveals that specific neuron combinations are reused across semantically-related features, exposing a hierarchical structure in the MLP's activation space. Together, these results position SNMF as a simple and effective tool for identifying interpretable features and dissecting concept representations in LLMs.