추론의 기하학: 표현 공간에서 흐르는 논리

초록

우리는 대형 언어 모델(LLM)이 어떻게 표현 공간을 통해 '사고'하는지를 연구한다. 우리는 LLM의 추론을 논리가 진행되는 곳에서 진화하는 임베딩 궤적, 즉 흐름(flow)으로 모델링하는 새로운 기하학적 프레임워크를 제안한다. 동일한 자연 연역 명제를 다양한 의미적 운반체와 함께 사용함으로써 논리적 구조를 의미론으로부터 분리하여, LLM이 표면 형태를 넘어 논리를 내재화하는지 테스트할 수 있게 한다. 이 관점은 추론을 위치, 속도, 곡률과 같은 기하학적 양과 연결시켜 표현 공간과 개념 공간에서의 형식적 분석을 가능하게 한다. 우리의 이론은 다음을 입증한다: (1) LLM의 추론은 표현 공간에서의 매끄러운 흐름에 대응하며, (2) 논리적 명제는 이러한 흐름의 속도를 국소적으로 제어한다. 학습된 표현 프록시를 사용하여, 우리는 통제된 실험을 설계하여 추론 흐름을 시각화하고 정량화함으로써 우리의 이론적 프레임워크를 실증적으로 검증한다. 우리의 연구는 추론 현상을 연구하기 위한 개념적 기초와 실용적 도구를 제공하며, LLM의 행동에 대한 해석 가능성과 형식적 분석을 위한 새로운 렌즈를 제시한다.

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.

추론의 기하학: 표현 공간에서 흐르는 논리

The Geometry of Reasoning: Flowing Logics in Representation Space

초록

Support