De Geometrie van Redeneren: Vloeiende Logica in Representatieruimte

The Geometry of Reasoning: Flowing Logics in Representation Space

October 10, 2025

Auteurs: Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang

cs.AI

Samenvatting

We bestuderen hoe grote taalmodellen (LLM's) ``denken'' door hun representatieruimte. We introduceren een nieuw geometrisch raamwerk dat het redeneren van een LLM modelleert als stromen -- trajecten van embeddings die evolueren waar logica plaatsvindt. We ontwarren logische structuur van semantiek door dezelfde natuurlijke deductieproposities te gebruiken met verschillende semantische dragers, waardoor we kunnen testen of LLM's logica internaliseren voorbij de oppervlaktevorm. Dit perspectief verbindt redeneren met geometrische grootheden zoals positie, snelheid en kromming, wat formele analyse in representatie- en conceptruimten mogelijk maakt. Onze theorie stelt vast: (1) LLM-redenering komt overeen met vloeiende stromen in de representatieruimte, en (2) logische uitspraken fungeren als lokale controllers van de snelheden van deze stromen. Met behulp van geleerde representatieproxies ontwerpen we gecontroleerde experimenten om redeneerstromen te visualiseren en te kwantificeren, wat empirische validatie van ons theoretische raamwerk biedt. Ons werk dient zowel als een conceptuele basis als praktische tools voor het bestuderen van redeneerfenomenen, en biedt een nieuwe lens voor interpreteerbaarheid en formele analyse van het gedrag van LLM's.

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.