思考の連鎖の表面下：大規模言語モデルにおける推論操作の機構的解釈

要旨

大規模言語モデルにおける推論は、問題の定式化、目標の分解、演繹といった多様な機能的操作を通じて展開される。これらの操作はテキスト上では明確に区別されるものの、それらが表現空間内で幾何学的にどのように組織化されているかはほとんど明らかにされていない。本研究では、この点を踏まえ、異なる推論操作が隠れ表現において対応する幾何学的構造を示すかどうかを調査する。我々は、操作が未学習データの表現において分離可能であり、その分離可能性が中間層で最大になることを見いだした。さらに、この構造が語彙的または位置的な交絡によって説明されるものではないことを検証する。層をまたぐにつれて、トークン単位の操作整合性はスパンにわたってより分散的になる一方、同一の表層トークンは、その周囲のチャンクの操作に応じて異なる表現が与えられる。また、アテンションマスキング介入により、チャンク開始部における操作整合的な表現が、先行する推論文脈に依存することが示される。以上の結果から、言語モデルが言語的な推論表現と内部の幾何学的構造との間に対応関係を保持していることが実証される。コードおよびプロジェクト資料は https://github.com/naver-ai/beneath-cot で入手可能である。

English

Reasoning in large language models unfolds through diverse functional operations, such as problem formulation, goal decomposition, and deduction. Although these operations are explicitly distinguished in text, little is known about how they are geometrically organized in representation spaces. To this end, we investigate whether distinct reasoning operations exhibit corresponding geometric structure in hidden representations. We find that operations are separable in held-out representations, with separability peaking in middle layers, and verify that this structure is not explained by lexical or positional confounds. Across layers, token-wise operation-alignment becomes more distributed over spans, while identical surface tokens are represented differently depending on the operation of its surrounding chunk. Attention-masking interventions further show that operation-aligned representations at chunk onset depend on preceding reasoning context. Consequently, our work demonstrates that language models maintain representational correspondence between linguistic reasoning expressions and their internal geometric structures. Code and project materials are available at https://github.com/naver-ai/beneath-cot.