REMA: Унифицированная структура многообразия рассуждений для интерпретации больших языковых моделей
REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model
September 26, 2025
Авторы: Bo Li, Guanzhi Deng, Ronghao Chen, Junrong Yue, Shuo Zhang, Qinghua Zhao, Linqi Song, Lijie Wen
cs.AI
Аннотация
Понимание того, как крупные языковые модели (LLM) выполняют сложные рассуждения и механизмы их сбоев представляет собой вызов для исследований интерпретируемости. Чтобы предложить измеримую геометрическую перспективу анализа, мы вводим концепцию Многообразия Рассуждений — латентной низкоразмерной геометрической структуры, формируемой внутренними представлениями, соответствующими всем корректно выполненным рассуждениям. Эту структуру можно концептуализировать как воплощение эффективных путей мышления, которые модель научилась использовать для успешного решения задачи. На основе этой концепции мы разрабатываем REMA — фреймворк, который объясняет причины сбоев путем количественного сравнения пространственных отношений внутренних представлений модели, соответствующих как ошибочным, так и корректным рассуждениям. В частности, REMA сначала количественно оценивает геометрическое отклонение каждого ошибочного представления, вычисляя расстояние до его k ближайших соседей на приближенном многообразии, сформированном корректными представлениями, тем самым предоставляя унифицированный сигнал о сбое. Затем он локализует точки расхождения, где эти отклонения впервые становятся значительными, отслеживая эту метрику отклонения по слоям модели и сравнивая её с базовым уровнем внутренних флуктуаций корректных представлений, тем самым определяя, где цепочка рассуждений начинает сбиваться с пути. Наши обширные эксперименты на разнообразных языковых и мультимодальных моделях и задачах демонстрируют низкоразмерную природу многообразия рассуждений и высокую разделимость между ошибочными и корректными представлениями рассуждений. Результаты также подтверждают эффективность фреймворка REMA в анализе причин сбоев рассуждений. Это исследование связывает абстрактные сбои рассуждений с измеримыми геометрическими отклонениями в представлениях, открывая новые пути для углубленного понимания и диагностики внутренних вычислительных процессов моделей типа "черного ящика".
English
Understanding how Large Language Models (LLMs) perform complex reasoning and
their failure mechanisms is a challenge in interpretability research. To
provide a measurable geometric analysis perspective, we define the concept of
the Reasoning Manifold, a latent low-dimensional geometric structure formed by
the internal representations corresponding to all correctly reasoned
generations. This structure can be conceptualized as the embodiment of the
effective thinking paths that the model has learned to successfully solve a
given task. Based on this concept, we build REMA, a framework that explains the
origins of failures by quantitatively comparing the spatial relationships of
internal model representations corresponding to both erroneous and correct
reasoning samples. Specifically, REMA first quantifies the geometric deviation
of each erroneous representation by calculating its k-nearest neighbors
distance to the approximated manifold formed by correct representations,
thereby providing a unified failure signal. It then localizes the divergence
points where these deviations first become significant by tracking this
deviation metric across the model's layers and comparing it against a baseline
of internal fluctuations from correct representations, thus identifying where
the reasoning chain begins to go off-track. Our extensive experiments on
diverse language and multimodal models and tasks demonstrate the
low-dimensional nature of the reasoning manifold and the high separability
between erroneous and correct reasoning representations. The results also
validate the effectiveness of the REMA framework in analyzing the origins of
reasoning failures. This research connects abstract reasoning failures to
measurable geometric deviations in representations, providing new avenues for
in-depth understanding and diagnosis of the internal computational processes of
black-box models.