REMA : Un cadre unifié de variété de raisonnement pour l'interprétation des grands modèles de langage

REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model

September 26, 2025

papers.authors: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen

cs.AI

papers.abstract

Comprendre comment les grands modèles de langage (LLMs) effectuent des raisonnements complexes et identifier leurs mécanismes d'échec constitue un défi majeur dans la recherche sur l'interprétabilité. Pour offrir une perspective d'analyse géométrique mesurable, nous définissons le concept de **Variété de Raisonnement**, une structure géométrique latente de faible dimension formée par les représentations internes correspondant à toutes les générations correctement raisonnées. Cette structure peut être conceptualisée comme l'incarnation des chemins de pensée efficaces que le modèle a appris à suivre pour résoudre avec succès une tâche donnée. Sur la base de ce concept, nous construisons **REMA**, un cadre qui explique les origines des échecs en comparant quantitativement les relations spatiales des représentations internes du modèle correspondant à des échantillons de raisonnement erronés et corrects. Concrètement, REMA quantifie d'abord la déviation géométrique de chaque représentation erronée en calculant la distance de ses k-plus proches voisins par rapport à la variété approximée formée par les représentations correctes, fournissant ainsi un signal d'échec unifié. Il localise ensuite les points de divergence où ces déviations deviennent significatives en suivant cette métrique de déviation à travers les couches du modèle et en la comparant à une base de fluctuations internes issues des représentations correctes, identifiant ainsi où la chaîne de raisonnement commence à dévier. Nos expériences approfondies sur divers modèles de langage et multimodaux, ainsi que sur différentes tâches, démontrent la nature de faible dimension de la variété de raisonnement et la forte séparabilité entre les représentations de raisonnement erronées et correctes. Les résultats valident également l'efficacité du cadre REMA dans l'analyse des origines des échecs de raisonnement. Cette recherche relie les échecs de raisonnement abstraits à des déviations géométriques mesurables dans les représentations, ouvrant de nouvelles voies pour une compréhension approfondie et un diagnostic des processus de calcul internes des modèles boîte noire.

English

Understanding how Large Language Models (LLMs) perform complex reasoning and their failure mechanisms is a challenge in interpretability research. To provide a measurable geometric analysis perspective, we define the concept of the Reasoning Manifold, a latent low-dimensional geometric structure formed by the internal representations corresponding to all correctly reasoned generations. This structure can be conceptualized as the embodiment of the effective thinking paths that the model has learned to successfully solve a given task. Based on this concept, we build REMA, a framework that explains the origins of failures by quantitatively comparing the spatial relationships of internal model representations corresponding to both erroneous and correct reasoning samples. Specifically, REMA first quantifies the geometric deviation of each erroneous representation by calculating its k-nearest neighbors distance to the approximated manifold formed by correct representations, thereby providing a unified failure signal. It then localizes the divergence points where these deviations first become significant by tracking this deviation metric across the model's layers and comparing it against a baseline of internal fluctuations from correct representations, thus identifying where the reasoning chain begins to go off-track. Our extensive experiments on diverse language and multimodal models and tasks demonstrate the low-dimensional nature of the reasoning manifold and the high separability between erroneous and correct reasoning representations. The results also validate the effectiveness of the REMA framework in analyzing the origins of reasoning failures. This research connects abstract reasoning failures to measurable geometric deviations in representations, providing new avenues for in-depth understanding and diagnosis of the internal computational processes of black-box models.