REMA: Un Marco Unificado de Variedad de Razonamiento para la Interpretación de Modelos de Lenguaje a Gran Escala

REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model

September 26, 2025

Autores: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen

cs.AI

Resumen

Comprender cómo los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) realizan razonamientos complejos y sus mecanismos de fallo es un desafío en la investigación de interpretabilidad. Para ofrecer una perspectiva medible desde el análisis geométrico, definimos el concepto del *Manifold de Razonamiento*, una estructura geométrica latente de baja dimensión formada por las representaciones internas correspondientes a todas las generaciones razonadas correctamente. Esta estructura puede conceptualizarse como la encarnación de los caminos de pensamiento efectivos que el modelo ha aprendido para resolver con éxito una tarea dada. Basándonos en este concepto, construimos REMA, un marco que explica los orígenes de los fallos al comparar cuantitativamente las relaciones espaciales de las representaciones internas del modelo correspondientes tanto a muestras de razonamiento erróneo como correcto. Específicamente, REMA primero cuantifica la desviación geométrica de cada representación errónea calculando su distancia de los k-vecinos más cercanos al *manifold* aproximado formado por las representaciones correctas, proporcionando así una señal de fallo unificada. Luego, localiza los puntos de divergencia donde estas desviaciones se vuelven significativas al rastrear esta métrica de desviación a través de las capas del modelo y compararla con una línea base de fluctuaciones internas de las representaciones correctas, identificando así dónde comienza a desviarse la cadena de razonamiento. Nuestros extensos experimentos en diversos modelos de lenguaje y multimodales, así como en tareas variadas, demuestran la naturaleza de baja dimensión del *manifold* de razonamiento y la alta separabilidad entre las representaciones de razonamiento erróneo y correcto. Los resultados también validan la efectividad del marco REMA en el análisis de los orígenes de los fallos de razonamiento. Esta investigación conecta los fallos abstractos de razonamiento con desviaciones geométricas medibles en las representaciones, proporcionando nuevas vías para una comprensión profunda y el diagnóstico de los procesos computacionales internos de los modelos de caja negra.

English

Understanding how Large Language Models (LLMs) perform complex reasoning and their failure mechanisms is a challenge in interpretability research. To provide a measurable geometric analysis perspective, we define the concept of the Reasoning Manifold, a latent low-dimensional geometric structure formed by the internal representations corresponding to all correctly reasoned generations. This structure can be conceptualized as the embodiment of the effective thinking paths that the model has learned to successfully solve a given task. Based on this concept, we build REMA, a framework that explains the origins of failures by quantitatively comparing the spatial relationships of internal model representations corresponding to both erroneous and correct reasoning samples. Specifically, REMA first quantifies the geometric deviation of each erroneous representation by calculating its k-nearest neighbors distance to the approximated manifold formed by correct representations, thereby providing a unified failure signal. It then localizes the divergence points where these deviations first become significant by tracking this deviation metric across the model's layers and comparing it against a baseline of internal fluctuations from correct representations, thus identifying where the reasoning chain begins to go off-track. Our extensive experiments on diverse language and multimodal models and tasks demonstrate the low-dimensional nature of the reasoning manifold and the high separability between erroneous and correct reasoning representations. The results also validate the effectiveness of the REMA framework in analyzing the origins of reasoning failures. This research connects abstract reasoning failures to measurable geometric deviations in representations, providing new avenues for in-depth understanding and diagnosis of the internal computational processes of black-box models.