От направлений к регионам: декомпозиция активаций в языковых моделях с помощью локальной геометрии

From Directions to Regions: Decomposing Activations in Language Models via Local Geometry

February 2, 2026

Авторы: Or Shafran, Shaked Ronen, Omri Fahn, Shauli Ravfogel, Atticus Geiger, Mor Geva

cs.AI

Аннотация

Методы декомпозиции активации в языковых моделях тесно связаны с геометрическими предположениями о том, как концепции реализуются в пространстве активаций. Существующие подходы ищут отдельные глобальные направления, неявно предполагая линейную разделимость, что упускает из виду концепции с нелинейной или многомерной структурой. В данной работе мы используем смесь факторных анализаторов (MFA) как масштабируемую, неконтролируемую альтернативу, которая моделирует пространство активаций как совокупность гауссовских областей с их локальной ковариационной структурой. MFA декомпозирует активации на два композиционных геометрических объекта: центроид области в пространстве активаций и локальное отклонение от центроида. Мы обучаем крупномасштабные MFA для моделей Llama-3.1-8B и Gemma-2-2B и показываем, что они захватывают сложные нелинейные структуры в пространстве активаций. Более того, оценки на бенчмарках локализации и управления показывают, что MFA превосходит неконтролируемые базовые методы, конкурирует с контролируемыми методами локализации и часто достигает более высокой эффективности управления, чем разреженные автоэнкодеры. В совокупности наши результаты позиционируют локальную геометрию, выраженную через подпространства, в качестве перспективной единицы анализа для масштабируемого обнаружения концепций и управления моделями, учитывающей сложные структуры, которые не удается capture изолированным направлениям.

English

Activation decomposition methods in language models are tightly coupled to geometric assumptions on how concepts are realized in activation space. Existing approaches search for individual global directions, implicitly assuming linear separability, which overlooks concepts with nonlinear or multi-dimensional structure. In this work, we leverage Mixture of Factor Analyzers (MFA) as a scalable, unsupervised alternative that models the activation space as a collection of Gaussian regions with their local covariance structure. MFA decomposes activations into two compositional geometric objects: the region's centroid in activation space, and the local variation from the centroid. We train large-scale MFAs for Llama-3.1-8B and Gemma-2-2B, and show they capture complex, nonlinear structures in activation space. Moreover, evaluations on localization and steering benchmarks show that MFA outperforms unsupervised baselines, is competitive with supervised localization methods, and often achieves stronger steering performance than sparse autoencoders. Together, our findings position local geometry, expressed through subspaces, as a promising unit of analysis for scalable concept discovery and model control, accounting for complex structures that isolated directions fail to capture.