A Geometria do Raciocínio: Lógicas Fluentes no Espaço de Representação

The Geometry of Reasoning: Flowing Logics in Representation Space

October 10, 2025

Autores: Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang

cs.AI

Resumo

Estudamos como os modelos de linguagem de grande escala (LLMs) "pensam" através de seu espaço de representação. Propomos um novo framework geométrico que modela o raciocínio de um LLM como fluxos — trajetórias de embeddings que evoluem onde a lógica se desenvolve. Desacoplamos a estrutura lógica da semântica empregando as mesmas proposições de dedução natural com diferentes portadores semânticos, permitindo-nos testar se os LLMs internalizam a lógica além da forma superficial. Essa perspectiva conecta o raciocínio com quantidades geométricas como posição, velocidade e curvatura, possibilitando análise formal em espaços de representação e conceitos. Nossa teoria estabelece: (1) o raciocínio dos LLMs corresponde a fluxos suaves no espaço de representação, e (2) declarações lógicas atuam como controladores locais das velocidades desses fluxos. Usando proxies de representação aprendidos, projetamos experimentos controlados para visualizar e quantificar os fluxos de raciocínio, fornecendo validação empírica de nosso framework teórico. Nosso trabalho serve tanto como fundamento conceitual quanto como ferramentas práticas para estudar fenômenos de raciocínio, oferecendo uma nova lente para interpretabilidade e análise formal do comportamento dos LLMs.

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.