La Geometria del Ragionamento: Logiche Fluttuanti nello Spazio di Rappresentazione

The Geometry of Reasoning: Flowing Logics in Representation Space

October 10, 2025

Autori: Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang

cs.AI

Abstract

Studiamo come i grandi modelli linguistici (LLM) "pensano" attraverso il loro spazio di rappresentazione. Proponiamo un nuovo framework geometrico che modella il ragionamento di un LLM come flussi – traiettorie di embedding che evolvono dove la logica procede. Separiamo la struttura logica dalla semantica utilizzando le stesse proposizioni di deduzione naturale con vettori semantici variati, permettendoci di testare se gli LLM interiorizzano la logica oltre la forma superficiale. Questa prospettiva collega il ragionamento con quantità geometriche come posizione, velocità e curvatura, abilitando un'analisi formale negli spazi di rappresentazione e concettuali. La nostra teoria stabilisce: (1) il ragionamento degli LLM corrisponde a flussi regolari nello spazio di rappresentazione, e (2) le affermazioni logiche agiscono come controllori locali della velocità di questi flussi. Utilizzando proxy di rappresentazione appresi, progettiamo esperimenti controllati per visualizzare e quantificare i flussi di ragionamento, fornendo una validazione empirica del nostro framework teorico. Il nostro lavoro funge sia da fondamento concettuale che da strumento pratico per studiare il fenomeno del ragionamento, offrendo una nuova lente per l'interpretabilità e l'analisi formale del comportamento degli LLM.

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.