推論の幾何学：表現空間における流動する論理

要旨

大規模言語モデル（LLM）がその表現空間においてどのように「思考」するかを研究する。我々は、LLMの推論をフローとしてモデル化する新しい幾何学的フレームワークを提案する。これは、論理が進むにつれて進化する埋め込み軌道を表すものである。同じ自然演繹命題を異なる意味的キャリアで使用することで、論理構造を意味論から切り離し、LLMが表面形式を超えて論理を内在化しているかどうかをテストする。この視点は、推論を位置、速度、曲率などの幾何学的量と結びつけ、表現空間と概念空間における形式的分析を可能にする。我々の理論は以下のことを確立する：（1）LLMの推論は表現空間における滑らかなフローに対応し、（2）論理命題はこれらのフローの速度を局所的に制御する役割を果たす。学習された表現プロキシを使用して、制御された実験を設計し、推論フローを可視化・定量化することで、我々の理論的フレームワークを実証的に検証する。本研究は、推論現象を研究するための概念的基盤と実用的ツールの両方を提供し、LLMの振る舞いの解釈可能性と形式的分析のための新しい視点を提供する。

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.

推論の幾何学：表現空間における流動する論理

The Geometry of Reasoning: Flowing Logics in Representation Space

要旨

Support