Staat boven Tokens: Karakterisering van de Rol van Redeneertokens
State over Tokens: Characterizing the Role of Reasoning Tokens
December 14, 2025
Auteurs: Mosh Levy, Zohar Elyoseph, Shauli Ravfogel, Yoav Goldberg
cs.AI
Samenvatting
Grote Taalmodellen (GTM's) kunnen redeneertokens genereren vóór hun definitieve antwoord om de prestaties op complexe taken te verbeteren. Hoewel deze sequenties op menselijke denkprocessen lijken, tonen empirische bevindingen aan dat ze geen getrouwe weergave zijn van het werkelijke redeneerproces van het model. Om deze kloof tussen schijn en functie te overbruggen, introduceren we het conceptuele kader 'State over Tokens' (SoT). SoT herdefinieert redeneertokens niet als een linguïstisch narratief, maar als een geëxternaliseerde computationele staat – de enige persistente informatiedrager tussen de staatloze generatiecycli van het model. Dit verklaart hoe de tokens correct redeneren kunnen aandrijven zonder, wanneer ze als tekst worden gelezen, een getrouwe verklaring te vormen, en brengt voorheen over het hoofd geziene onderzoeksvragen over deze tokens aan het licht. Wij beargumenteren dat onderzoek, om het proces dat GTM's doorlopen werkelijk te begrijpen, verder moet kijken dan het lezen van redeneertokens als tekst en zich moet richten op het decoderen ervan als staat.
English
Large Language Models (LLMs) can generate reasoning tokens before their final answer to boost performance on complex tasks. While these sequences seem like human thought processes, empirical evidence reveals that they are not a faithful explanation of the model's actual reasoning process. To address this gap between appearance and function, we introduce the State over Tokens (SoT) conceptual framework. SoT reframes reasoning tokens not as a linguistic narrative, but as an externalized computational state -- the sole persistent information carrier across the model's stateless generation cycles. This explains how the tokens can drive correct reasoning without being a faithful explanation when read as text and surfaces previously overlooked research questions on these tokens. We argue that to truly understand the process that LLMs do, research must move beyond reading the reasoning tokens as text and focus on decoding them as state.