REMA: Um Framework Unificado de Variedade de Raciocínio para Interpretação de Modelos de Linguagem de Grande Escala

REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model

September 26, 2025

Autores: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen

cs.AI

Resumo

Compreender como os Modelos de Linguagem de Grande Escala (LLMs) realizam raciocínios complexos e seus mecanismos de falha é um desafio na pesquisa de interpretabilidade. Para oferecer uma perspectiva mensurável de análise geométrica, definimos o conceito de *Manifold de Raciocínio*, uma estrutura geométrica latente de baixa dimensão formada pelas representações internas correspondentes a todas as gerações corretamente raciocinadas. Essa estrutura pode ser conceituada como a materialização dos caminhos de pensamento eficazes que o modelo aprendeu para resolver com sucesso uma determinada tarefa. Com base nesse conceito, construímos o REMA, um framework que explica as origens das falhas ao comparar quantitativamente as relações espaciais das representações internas do modelo correspondentes a amostras de raciocínio errôneas e corretas. Especificamente, o REMA primeiro quantifica o desvio geométrico de cada representação errônea ao calcular a distância de seus k-vizinhos mais próximos ao manifold aproximado formado pelas representações corretas, fornecendo assim um sinal unificado de falha. Em seguida, ele localiza os pontos de divergência onde esses desvios se tornam significativos ao rastrear essa métrica de desvio através das camadas do modelo e compará-la com uma linha de base de flutuações internas das representações corretas, identificando assim onde a cadeia de raciocínio começa a se desviar. Nossos extensos experimentos em diversos modelos de linguagem e multimodais, bem como em tarefas variadas, demonstram a natureza de baixa dimensão do manifold de raciocínio e a alta separabilidade entre as representações de raciocínio errôneas e corretas. Os resultados também validam a eficácia do framework REMA na análise das origens das falhas de raciocínio. Esta pesquisa conecta falhas abstratas de raciocínio a desvios geométricos mensuráveis nas representações, abrindo novas vias para a compreensão aprofundada e o diagnóstico dos processos computacionais internos de modelos de caixa-preta.

English

Understanding how Large Language Models (LLMs) perform complex reasoning and their failure mechanisms is a challenge in interpretability research. To provide a measurable geometric analysis perspective, we define the concept of the Reasoning Manifold, a latent low-dimensional geometric structure formed by the internal representations corresponding to all correctly reasoned generations. This structure can be conceptualized as the embodiment of the effective thinking paths that the model has learned to successfully solve a given task. Based on this concept, we build REMA, a framework that explains the origins of failures by quantitatively comparing the spatial relationships of internal model representations corresponding to both erroneous and correct reasoning samples. Specifically, REMA first quantifies the geometric deviation of each erroneous representation by calculating its k-nearest neighbors distance to the approximated manifold formed by correct representations, thereby providing a unified failure signal. It then localizes the divergence points where these deviations first become significant by tracking this deviation metric across the model's layers and comparing it against a baseline of internal fluctuations from correct representations, thus identifying where the reasoning chain begins to go off-track. Our extensive experiments on diverse language and multimodal models and tasks demonstrate the low-dimensional nature of the reasoning manifold and the high separability between erroneous and correct reasoning representations. The results also validate the effectiveness of the REMA framework in analyzing the origins of reasoning failures. This research connects abstract reasoning failures to measurable geometric deviations in representations, providing new avenues for in-depth understanding and diagnosis of the internal computational processes of black-box models.