Геометрия рассуждений: Логические потоки в пространстве представлений

The Geometry of Reasoning: Flowing Logics in Representation Space

October 10, 2025

Авторы: Yufa Zhou, Yixiao Wang, Xunjian Yin, Shuyan Zhou, Anru R. Zhang

cs.AI

Аннотация

Мы исследуем, как крупные языковые модели (LLM) «мыслят» через их пространство представлений. Мы предлагаем новую геометрическую структуру, которая моделирует рассуждения LLM как потоки — траектории эволюции вложений, где развивается логика. Мы разделяем логическую структуру и семантику, используя одни и те же предложения естественного вывода с различными семантическими носителями, что позволяет проверить, усваивают ли LLM логику за пределами поверхностной формы. Этот подход связывает рассуждения с геометрическими величинами, такими как положение, скорость и кривизна, что позволяет проводить формальный анализ в пространствах представлений и концепций. Наша теория устанавливает: (1) рассуждения LLM соответствуют гладким потокам в пространстве представлений, и (2) логические утверждения действуют как локальные контроллеры скоростей этих потоков. Используя обученные прокси-представления, мы разрабатываем контролируемые эксперименты для визуализации и количественной оценки потоков рассуждений, предоставляя эмпирическое подтверждение нашей теоретической структуры. Наша работа служит как концептуальной основой, так и практическими инструментами для изучения феномена рассуждений, предлагая новый взгляд на интерпретируемость и формальный анализ поведения LLM.

English

We study how large language models (LLMs) ``think'' through their representation space. We propose a novel geometric framework that models an LLM's reasoning as flows -- embedding trajectories evolving where logic goes. We disentangle logical structure from semantics by employing the same natural deduction propositions with varied semantic carriers, allowing us to test whether LLMs internalize logic beyond surface form. This perspective connects reasoning with geometric quantities such as position, velocity, and curvature, enabling formal analysis in representation and concept spaces. Our theory establishes: (1) LLM reasoning corresponds to smooth flows in representation space, and (2) logical statements act as local controllers of these flows' velocities. Using learned representation proxies, we design controlled experiments to visualize and quantify reasoning flows, providing empirical validation of our theoretical framework. Our work serves as both a conceptual foundation and practical tools for studying reasoning phenomenon, offering a new lens for interpretability and formal analysis of LLMs' behavior.