Lokalisieren, Steuern und Verbessern: Eine praktische Übersicht über umsetzbare mechanistische Interpretierbarkeit in großen Sprachmodellen

Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models

January 20, 2026

papers.authors: Hengyuan Zhang, Zhihao Zhang, Mingyang Wang, Zunhai Su, Yiwei Wang, Qianli Wang, Shuzhou Yuan, Ercong Nie, Xufeng Duan, Qibo Xue, Zeping Yu, Chenming Shang, Xiao Liang, Jing Xiong, Hui Shen, Chaofan Tao, Zhengwu Liu, Senjie Jin, Zhiheng Xi, Dongdong Zhang, Sophia Ananiadou, Tao Gui, Ruobing Xie, Hayden Kwok-Hay So, Hinrich Schütze, Xuanjing Huang, Qi Zhang, Ngai Wong

cs.AI

papers.abstract

Mechanistic Interpretability (MI) hat sich als entscheidender Ansatz etabliert, um die undurchsichtige Entscheidungsfindung von Large Language Models (LLMs) zu entschlüsseln. Bisherige Übersichtsarbeiten behandeln MI jedoch primär als beobachtende Wissenschaft, fassen analytische Erkenntnisse zusammen, mangeln aber an einem systematischen Rahmen für gezielte Interventionen. Um diese Lücke zu schließen, präsentieren wir einen praxisorientierten Survey, der sich an der Pipeline "Locate, Steer, and Improve" (Lokalisieren, Steuern, Verbessern) orientiert. Wir kategorisieren Lokalisierungs- (Diagnose) und Steuerungsmethoden (Intervention) formal anhand spezifischer interpretierbarer Objekte, um ein rigoroses Interventionsprotokoll zu etablieren. Darüber hinaus zeigen wir auf, wie dieser Rahmen greifbare Verbesserungen in den Bereichen Alignment, Fähigkeiten und Effizienz ermöglicht und MI so effektiv als anwendbare Methodik zur Modelloptimierung operationalisiert. Die kuratierte Literaturliste dieser Arbeit ist verfügbar unter https://github.com/rattlesnakey/Awesome-Actionable-MI-Survey.

English

Mechanistic Interpretability (MI) has emerged as a vital approach to demystify the opaque decision-making of Large Language Models (LLMs). However, existing reviews primarily treat MI as an observational science, summarizing analytical insights while lacking a systematic framework for actionable intervention. To bridge this gap, we present a practical survey structured around the pipeline: "Locate, Steer, and Improve." We formally categorize Localizing (diagnosis) and Steering (intervention) methods based on specific Interpretable Objects to establish a rigorous intervention protocol. Furthermore, we demonstrate how this framework enables tangible improvements in Alignment, Capability, and Efficiency, effectively operationalizing MI as an actionable methodology for model optimization. The curated paper list of this work is available at https://github.com/rattlesnakey/Awesome-Actionable-MI-Survey.