REMA: 大規模言語モデルを解釈するための統合推論マニフォールドフレームワーク

要旨

大規模言語モデル（LLMs）が複雑な推論をどのように実行し、その失敗メカニズムがどのように発生するかを理解することは、解釈可能性研究における重要な課題です。本論文では、測定可能な幾何学的分析の視点を提供するために、「推論多様体（Reasoning Manifold）」という概念を定義します。これは、すべての正しい推論に対応する内部表現によって形成される潜在的な低次元幾何構造であり、モデルが特定のタスクを成功裏に解決するために学習した有効な思考経路の具現化と概念化できます。この概念に基づいて、誤った推論と正しい推論のサンプルに対応する内部表現の空間的関係を定量的に比較することで、失敗の起源を説明するフレームワーク「REMA」を構築します。具体的には、REMAはまず、正しい表現によって形成される近似多様体に対する各誤った表現のk近傍距離を計算することで、その幾何学的偏差を定量化し、統一された失敗信号を提供します。次に、モデルの層全体でこの偏差メトリックを追跡し、正しい表現からの内部変動のベースラインと比較することで、これらの偏差が最初に顕著になる分岐点を特定し、推論チェーンが軌道から外れ始める場所を明らかにします。多様な言語モデルおよびマルチモーダルモデルとタスクに対する広範な実験を通じて、推論多様体の低次元性と、誤った推論表現と正しい推論表現の高い分離性が実証されました。また、REMAフレームワークが推論失敗の起源を分析する上で有効であることも検証されました。本研究は、抽象的な推論失敗を表現における測定可能な幾何学的偏差に結びつけ、ブラックボックスモデルの内部計算プロセスを深く理解し診断するための新たな道筋を提供します。

English

Understanding how Large Language Models (LLMs) perform complex reasoning and their failure mechanisms is a challenge in interpretability research. To provide a measurable geometric analysis perspective, we define the concept of the Reasoning Manifold, a latent low-dimensional geometric structure formed by the internal representations corresponding to all correctly reasoned generations. This structure can be conceptualized as the embodiment of the effective thinking paths that the model has learned to successfully solve a given task. Based on this concept, we build REMA, a framework that explains the origins of failures by quantitatively comparing the spatial relationships of internal model representations corresponding to both erroneous and correct reasoning samples. Specifically, REMA first quantifies the geometric deviation of each erroneous representation by calculating its k-nearest neighbors distance to the approximated manifold formed by correct representations, thereby providing a unified failure signal. It then localizes the divergence points where these deviations first become significant by tracking this deviation metric across the model's layers and comparing it against a baseline of internal fluctuations from correct representations, thus identifying where the reasoning chain begins to go off-track. Our extensive experiments on diverse language and multimodal models and tasks demonstrate the low-dimensional nature of the reasoning manifold and the high separability between erroneous and correct reasoning representations. The results also validate the effectiveness of the REMA framework in analyzing the origins of reasoning failures. This research connects abstract reasoning failures to measurable geometric deviations in representations, providing new avenues for in-depth understanding and diagnosis of the internal computational processes of black-box models.

REMA: 大規模言語モデルを解釈するための統合推論マニフォールドフレームワーク

REMA: A Unified Reasoning Manifold Framework for Interpreting Large Language Model

要旨

Support