La Geometría del Razonamiento: Lógicas Fluentes en el Espacio de Representación

The Geometry of Reasoning: Flowing Logics in Representation Space

October 10, 2025

Autores: Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang

cs.AI

Resumen

Estudiamos cómo los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) "piensan" a través de su espacio de representación. Proponemos un marco geométrico novedoso que modela el razonamiento de un LLM como flujos — trayectorias de incrustación que evolucionan donde la lógica avanza. Desentrañamos la estructura lógica de la semántica empleando las mismas proposiciones de deducción natural con portadores semánticos variados, lo que nos permite probar si los LLMs internalizan la lógica más allá de la forma superficial. Esta perspectiva conecta el razonamiento con cantidades geométricas como posición, velocidad y curvatura, permitiendo un análisis formal en los espacios de representación y conceptos. Nuestra teoría establece: (1) el razonamiento de los LLMs corresponde a flujos suaves en el espacio de representación, y (2) las declaraciones lógicas actúan como controladores locales de las velocidades de estos flujos. Utilizando proxies de representación aprendidos, diseñamos experimentos controlados para visualizar y cuantificar los flujos de razonamiento, proporcionando validación empírica de nuestro marco teórico. Nuestro trabajo sirve tanto como una base conceptual como herramientas prácticas para estudiar fenómenos de razonamiento, ofreciendo una nueva lente para la interpretabilidad y el análisis formal del comportamiento de los LLMs.

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.