Von Richtungen zu Regionen: Zerlegung von Aktivierungen in Sprachmodellen mittels lokaler Geometrie

From Directions to Regions: Decomposing Activations in Language Models via Local Geometry

February 2, 2026

papers.authors: Or Shafran, Shaked Ronen, Omri Fahn, Shauli Ravfogel, Atticus Geiger, Mor Geva

cs.AI

papers.abstract

Aktivierungsdekompositionsmethoden in Sprachmodellen sind eng mit geometrischen Annahmen darüber verknüpft, wie Konzepte im Aktivierungsraum realisiert werden. Bestehende Ansätze suchen nach einzelnen globalen Richtungen und nehmen dabei implizit lineare Separierbarkeit an, was Konzepte mit nichtlinearer oder mehrdimensionaler Struktur übersieht. In dieser Arbeit nutzen wir Mixture of Factor Analyzers (MFA) als skalierbare, unüberwachte Alternative, die den Aktivierungsraum als eine Sammlung von Gaußschen Regionen mit ihrer lokalen Kovarianzstruktur modelliert. MFA zerlegt Aktivierungen in zwei kompositionelle geometrische Objekte: den Schwerpunkt der Region im Aktivierungsraum und die lokale Variation vom Schwerpunkt. Wir trainieren großskalige MFAs für Llama-3.1-8B und Gemma-2-2B und zeigen, dass sie komplexe, nichtlineare Strukturen im Aktivierungsraum erfassen. Darüber hinaus belegen Evaluationen auf Lokalisierungs- und Steuerungs-Benchmarks, dass MFA unüberwachte Baseline-Methoden übertrifft, mit überwachten Lokalisierungsmethoden konkurrieren kann und oft eine stärkere Steuerungsleistung als sparse Autoencoder erzielt. Zusammengenommen positionieren unsere Ergebnisse die lokale Geometrie, ausgedrückt durch Unterräume, als eine vielversprechende Analyseeinheit für skalierbare Konzeptentdeckung und Modellsteuerung, die komplexe Strukturen berücksichtigt, die isolierte Richtungen nicht erfassen können.

English

Activation decomposition methods in language models are tightly coupled to geometric assumptions on how concepts are realized in activation space. Existing approaches search for individual global directions, implicitly assuming linear separability, which overlooks concepts with nonlinear or multi-dimensional structure. In this work, we leverage Mixture of Factor Analyzers (MFA) as a scalable, unsupervised alternative that models the activation space as a collection of Gaussian regions with their local covariance structure. MFA decomposes activations into two compositional geometric objects: the region's centroid in activation space, and the local variation from the centroid. We train large-scale MFAs for Llama-3.1-8B and Gemma-2-2B, and show they capture complex, nonlinear structures in activation space. Moreover, evaluations on localization and steering benchmarks show that MFA outperforms unsupervised baselines, is competitive with supervised localization methods, and often achieves stronger steering performance than sparse autoencoders. Together, our findings position local geometry, expressed through subspaces, as a promising unit of analysis for scalable concept discovery and model control, accounting for complex structures that isolated directions fail to capture.