Staat über Token: Charakterisierung der Rolle von Reasoning-Token
State over Tokens: Characterizing the Role of Reasoning Tokens
December 14, 2025
papers.authors: Mosh Levy, Zohar Elyoseph, Shauli Ravfogel, Yoav Goldberg
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) können vor ihrer endgültigen Antwort Reasoning-Tokens generieren, um die Leistung bei komplexen Aufgaben zu steigern. Obwohl diese Sequenzen menschlichen Denkprozessen ähneln, zeigen empirische Belege, dass sie keine authentische Erklärung des tatsächlichen Reasoning-Prozesses des Modells darstellen. Um diese Kluft zwischen Anschein und Funktion zu überbrücken, führen wir den konzeptionellen Rahmen "State over Tokens" (SoT) ein. SoT betrachtet Reasoning-Tokens nicht als sprachliche Narration, sondern als externalisierten Rechenzustand – den einzigen persistenten Informationsträger über die zustandslosen Generierungszyklen des Modells hinweg. Dies erklärt, wie die Tokens korrektes Reasoning antreiben können, ohne als Text gelesen eine authentische Erklärung zu sein, und wirft bisher übersehene Forschungsfragen zu diesen Tokens auf. Wir argumentieren, dass die Forschung, um den Prozess, den LLMs durchlaufen, wirklich zu verstehen, über das Lesen der Reasoning-Tokens als Text hinausgehen und sich darauf konzentrieren muss, sie als Zustand zu decodieren.
English
Large Language Models (LLMs) can generate reasoning tokens before their final answer to boost performance on complex tasks. While these sequences seem like human thought processes, empirical evidence reveals that they are not a faithful explanation of the model's actual reasoning process. To address this gap between appearance and function, we introduce the State over Tokens (SoT) conceptual framework. SoT reframes reasoning tokens not as a linguistic narrative, but as an externalized computational state -- the sole persistent information carrier across the model's stateless generation cycles. This explains how the tokens can drive correct reasoning without being a faithful explanation when read as text and surfaces previously overlooked research questions on these tokens. We argue that to truly understand the process that LLMs do, research must move beyond reading the reasoning tokens as text and focus on decoding them as state.