La Géométrie du Raisonnement : Logiques Fluctuantes dans l’Espace de Représentation

The Geometry of Reasoning: Flowing Logics in Representation Space

October 10, 2025

papers.authors: Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang

cs.AI

papers.abstract

Nous étudions comment les grands modèles de langage (LLMs) « pensent » à travers leur espace de représentation. Nous proposons un cadre géométrique novateur qui modélise le raisonnement d'un LLM comme des flux — des trajectoires d'embeddings évoluant là où la logique se déploie. Nous dissocions la structure logique de la sémantique en utilisant les mêmes propositions de déduction naturelle avec des porteurs sémantiques variés, ce qui nous permet de tester si les LLMs internalisent la logique au-delà de la forme superficielle. Cette perspective relie le raisonnement à des quantités géométriques telles que la position, la vitesse et la courbure, permettant une analyse formelle dans les espaces de représentation et de concepts. Notre théorie établit : (1) le raisonnement des LLMs correspond à des flux lisses dans l'espace de représentation, et (2) les énoncés logiques agissent comme des contrôleurs locaux de la vitesse de ces flux. En utilisant des proxies de représentation appris, nous concevons des expériences contrôlées pour visualiser et quantifier les flux de raisonnement, fournissant une validation empirique de notre cadre théorique. Notre travail sert à la fois de fondement conceptuel et d'outils pratiques pour étudier les phénomènes de raisonnement, offrant une nouvelle perspective pour l'interprétabilité et l'analyse formelle du comportement des LLMs.

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.