Die Geometrie des Denkens: Fließende Logiken im Repräsentationsraum
The Geometry of Reasoning: Flowing Logics in Representation Space
October 10, 2025
papers.authors: Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang
cs.AI
papers.abstract
Wir untersuchen, wie große Sprachmodelle (LLMs) „denken“, indem wir ihren Repräsentationsraum analysieren. Wir schlagen ein neuartiges geometrisches Framework vor, das das Schlussfolgern eines LLMs als Flüsse modelliert – als sich entwickelnde Einbettungstrajektorien, die der Logik folgen. Wir trennen die logische Struktur von der Semantik, indem wir dieselben natürlichen Deduktionsaussagen mit variierenden semantischen Trägern verwenden, was es uns ermöglicht zu testen, ob LLMs Logik über die Oberflächenform hinaus internalisieren. Diese Perspektive verbindet das Schlussfolgern mit geometrischen Größen wie Position, Geschwindigkeit und Krümmung und ermöglicht eine formale Analyse in Repräsentations- und Konzepträumen. Unsere Theorie stellt fest: (1) Das Schlussfolgern von LLMs entspricht glatten Flüssen im Repräsentationsraum, und (2) logische Aussagen wirken als lokale Steuerungselemente für die Geschwindigkeiten dieser Flüsse. Mithilfe gelerntener Repräsentationsproxys entwerfen wir kontrollierte Experimente, um Schlussfolgerungsflüsse zu visualisieren und zu quantifizieren, und liefern damit eine empirische Validierung unseres theoretischen Frameworks. Unsere Arbeit dient sowohl als konzeptionelle Grundlage als auch als praktisches Werkzeug zur Untersuchung von Phänomenen des Schlussfolgerns und bietet eine neue Perspektive für die Interpretierbarkeit und formale Analyse des Verhaltens von LLMs.
English
We study how large language models (LLMs) ``think'' through their
representation space. We propose a novel geometric framework that models an
LLM's reasoning as flows -- embedding trajectories evolving where logic goes.
We disentangle logical structure from semantics by employing the same natural
deduction propositions with varied semantic carriers, allowing us to test
whether LLMs internalize logic beyond surface form. This perspective connects
reasoning with geometric quantities such as position, velocity, and curvature,
enabling formal analysis in representation and concept spaces. Our theory
establishes: (1) LLM reasoning corresponds to smooth flows in representation
space, and (2) logical statements act as local controllers of these flows'
velocities. Using learned representation proxies, we design controlled
experiments to visualize and quantify reasoning flows, providing empirical
validation of our theoretical framework. Our work serves as both a conceptual
foundation and practical tools for studying reasoning phenomenon, offering a
new lens for interpretability and formal analysis of LLMs' behavior.