REMA: Un Framework Unificato di Ragionamento su Varietà per l'Interpretazione dei Modelli Linguistici di Grande Scala

REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model

September 26, 2025

Autori: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen

cs.AI

Abstract

Comprendere come i Large Language Model (LLM) eseguano ragionamenti complessi e i loro meccanismi di fallimento rappresenta una sfida nella ricerca sull'interpretabilità. Per offrire una prospettiva di analisi geometrica misurabile, definiamo il concetto di **Manifold del Ragionamento**, una struttura geometrica latente a bassa dimensionalità formata dalle rappresentazioni interne corrispondenti a tutte le generazioni correttamente ragionate. Questa struttura può essere concettualizzata come l'incarnazione dei percorsi di pensiero efficaci che il modello ha appreso per risolvere con successo un determinato compito. Basandoci su questo concetto, costruiamo **REMA**, un framework che spiega le origini dei fallimenti confrontando quantitativamente le relazioni spaziali delle rappresentazioni interne del modello corrispondenti sia a campioni di ragionamento errati che corretti. Nello specifico, REMA quantifica prima la deviazione geometrica di ciascuna rappresentazione errata calcolando la distanza dei suoi k-vicini più prossimi rispetto alla manifold approssimata formata dalle rappresentazioni corrette, fornendo così un segnale di fallimento unificato. Successivamente, localizza i punti di divergenza in cui queste deviazioni diventano significative per la prima volta, monitorando questa metrica di deviazione attraverso i livelli del modello e confrontandola con una baseline di fluttuazioni interne provenienti da rappresentazioni corrette, identificando così dove la catena di ragionamento inizia a deviare. I nostri esperimenti estesi su modelli linguistici e multimodali e su vari compiti dimostrano la natura a bassa dimensionalità della manifold del ragionamento e l'elevata separabilità tra rappresentazioni di ragionamento errate e corrette. I risultati convalidano anche l'efficacia del framework REMA nell'analizzare le origini dei fallimenti di ragionamento. Questa ricerca collega i fallimenti di ragionamento astratti a deviazioni geometriche misurabili nelle rappresentazioni, aprendo nuove strade per una comprensione approfondita e la diagnosi dei processi computazionali interni dei modelli black-box.

English

Understanding how Large Language Models (LLMs) perform complex reasoning and their failure mechanisms is a challenge in interpretability research. To provide a measurable geometric analysis perspective, we define the concept of the Reasoning Manifold, a latent low-dimensional geometric structure formed by the internal representations corresponding to all correctly reasoned generations. This structure can be conceptualized as the embodiment of the effective thinking paths that the model has learned to successfully solve a given task. Based on this concept, we build REMA, a framework that explains the origins of failures by quantitatively comparing the spatial relationships of internal model representations corresponding to both erroneous and correct reasoning samples. Specifically, REMA first quantifies the geometric deviation of each erroneous representation by calculating its k-nearest neighbors distance to the approximated manifold formed by correct representations, thereby providing a unified failure signal. It then localizes the divergence points where these deviations first become significant by tracking this deviation metric across the model's layers and comparing it against a baseline of internal fluctuations from correct representations, thus identifying where the reasoning chain begins to go off-track. Our extensive experiments on diverse language and multimodal models and tasks demonstrate the low-dimensional nature of the reasoning manifold and the high separability between erroneous and correct reasoning representations. The results also validate the effectiveness of the REMA framework in analyzing the origins of reasoning failures. This research connects abstract reasoning failures to measurable geometric deviations in representations, providing new avenues for in-depth understanding and diagnosis of the internal computational processes of black-box models.