REMA: Een Uniform Kader voor Redeneermanifolden ter Interpretatie van Grote Taalmodellen

REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model

September 26, 2025

Auteurs: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen

cs.AI

Samenvatting

Het begrijpen van hoe Large Language Models (LLMs) complexe redeneringen uitvoeren en hun faalmechanismen is een uitdaging in interpretatieonderzoek. Om een meetbaar geometrisch analyseperspectief te bieden, definiëren we het concept van het Redeneermanifold, een latente laagdimensionale geometrische structuur gevormd door de interne representaties die corresponderen met alle correct geredeneerde generaties. Deze structuur kan worden gezien als de belichaming van de effectieve denkpaden die het model heeft geleerd om een bepaalde taak succesvol op te lossen. Op basis van dit concept bouwen we REMA, een raamwerk dat de oorsprong van fouten verklaart door de ruimtelijke relaties van interne modelrepresentaties die corresponderen met zowel foutieve als correcte redeneervoorbeelden kwantitatief te vergelijken. Specifiek kwantificeert REMA eerst de geometrische afwijking van elke foutieve representatie door de k-nearest neighbors afstand te berekenen tot het benaderde manifold gevormd door correcte representaties, waardoor een uniform faalsignaal wordt geboden. Vervolgens lokaliseert het de divergentiepunten waar deze afwijkingen voor het eerst significant worden door deze afwijkingsmetriek te volgen over de lagen van het model en deze te vergelijken met een basislijn van interne fluctuaties van correcte representaties, waardoor wordt geïdentificeerd waar de redeneerketen begint af te wijken. Onze uitgebreide experimenten op diverse taal- en multimodale modellen en taken demonstreren de laagdimensionale aard van het redeneermanifold en de hoge scheidbaarheid tussen foutieve en correcte redeneerrepresentaties. De resultaten valideren ook de effectiviteit van het REMA-raamwerk bij het analyseren van de oorsprong van redeneerfouten. Dit onderzoek verbindt abstracte redeneerfouten met meetbare geometrische afwijkingen in representaties, wat nieuwe mogelijkheden biedt voor een diepgaand begrip en diagnose van de interne rekenprocessen van black-box modellen.

English

Understanding how Large Language Models (LLMs) perform complex reasoning and their failure mechanisms is a challenge in interpretability research. To provide a measurable geometric analysis perspective, we define the concept of the Reasoning Manifold, a latent low-dimensional geometric structure formed by the internal representations corresponding to all correctly reasoned generations. This structure can be conceptualized as the embodiment of the effective thinking paths that the model has learned to successfully solve a given task. Based on this concept, we build REMA, a framework that explains the origins of failures by quantitatively comparing the spatial relationships of internal model representations corresponding to both erroneous and correct reasoning samples. Specifically, REMA first quantifies the geometric deviation of each erroneous representation by calculating its k-nearest neighbors distance to the approximated manifold formed by correct representations, thereby providing a unified failure signal. It then localizes the divergence points where these deviations first become significant by tracking this deviation metric across the model's layers and comparing it against a baseline of internal fluctuations from correct representations, thus identifying where the reasoning chain begins to go off-track. Our extensive experiments on diverse language and multimodal models and tasks demonstrate the low-dimensional nature of the reasoning manifold and the high separability between erroneous and correct reasoning representations. The results also validate the effectiveness of the REMA framework in analyzing the origins of reasoning failures. This research connects abstract reasoning failures to measurable geometric deviations in representations, providing new avenues for in-depth understanding and diagnosis of the internal computational processes of black-box models.