REMA: Ein einheitliches Reasoning-Manifold-Framework zur Interpretation großer Sprachmodelle

REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model

September 26, 2025

papers.authors: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen

cs.AI

papers.abstract

Das Verständnis, wie Large Language Models (LLMs) komplexes Denken durchführen und welche Fehlermechanismen dabei auftreten, stellt eine Herausforderung in der Interpretierbarkeitsforschung dar. Um eine messbare geometrische Analyseperspektive zu bieten, definieren wir das Konzept des Reasoning Manifolds, einer latenten niedrigdimensionalen geometrischen Struktur, die durch die internen Repräsentationen aller korrekt begründeten Generierungen gebildet wird. Diese Struktur kann als die Verkörperung der effektiven Denkpfade verstanden werden, die das Modell gelernt hat, um eine gegebene Aufgabe erfolgreich zu lösen. Basierend auf diesem Konzept entwickeln wir REMA, ein Framework, das die Ursachen von Fehlern erklärt, indem es die räumlichen Beziehungen der internen Modellrepräsentationen, die sowohl fehlerhaften als auch korrekten Denkprozessen entsprechen, quantitativ vergleicht. Konkret quantifiziert REMA zunächst die geometrische Abweichung jeder fehlerhaften Repräsentation, indem es den k-nächsten-Nachbarn-Abstand zur approximierten Mannigfaltigkeit, die durch korrekte Repräsentationen gebildet wird, berechnet und somit ein einheitliches Fehlersignal liefert. Anschließend lokalisiert es die Divergenzpunkte, an denen diese Abweichungen erstmals signifikant werden, indem es diese Abweichungsmetrik über die Schichten des Modells hinweg verfolgt und sie gegen eine Baseline interner Schwankungen aus korrekten Repräsentationen vergleicht, wodurch identifiziert wird, wo die Denkkette beginnt, vom Kurs abzuweichen. Unsere umfangreichen Experimente an verschiedenen Sprach- und multimodalen Modellen sowie Aufgaben demonstrieren die niedrigdimensionale Natur des Reasoning Manifolds und die hohe Trennbarkeit zwischen fehlerhaften und korrekten Denkrepräsentationen. Die Ergebnisse validieren auch die Effektivität des REMA-Frameworks bei der Analyse der Ursachen von Denkfehlern. Diese Forschung verbindet abstrakte Denkfehler mit messbaren geometrischen Abweichungen in Repräsentationen und eröffnet neue Wege für ein vertieftes Verständnis und die Diagnose der internen Berechnungsprozesse von Black-Box-Modellen.

English

Understanding how Large Language Models (LLMs) perform complex reasoning and their failure mechanisms is a challenge in interpretability research. To provide a measurable geometric analysis perspective, we define the concept of the Reasoning Manifold, a latent low-dimensional geometric structure formed by the internal representations corresponding to all correctly reasoned generations. This structure can be conceptualized as the embodiment of the effective thinking paths that the model has learned to successfully solve a given task. Based on this concept, we build REMA, a framework that explains the origins of failures by quantitatively comparing the spatial relationships of internal model representations corresponding to both erroneous and correct reasoning samples. Specifically, REMA first quantifies the geometric deviation of each erroneous representation by calculating its k-nearest neighbors distance to the approximated manifold formed by correct representations, thereby providing a unified failure signal. It then localizes the divergence points where these deviations first become significant by tracking this deviation metric across the model's layers and comparing it against a baseline of internal fluctuations from correct representations, thus identifying where the reasoning chain begins to go off-track. Our extensive experiments on diverse language and multimodal models and tasks demonstrate the low-dimensional nature of the reasoning manifold and the high separability between erroneous and correct reasoning representations. The results also validate the effectiveness of the REMA framework in analyzing the origins of reasoning failures. This research connects abstract reasoning failures to measurable geometric deviations in representations, providing new avenues for in-depth understanding and diagnosis of the internal computational processes of black-box models.