Estado sobre Tokens: Caracterizando o Papel dos Tokens de Raciocínio
State over Tokens: Characterizing the Role of Reasoning Tokens
December 14, 2025
Autores: Mosh Levy, Zohar Elyoseph, Shauli Ravfogel, Yoav Goldberg
cs.AI
Resumo
Os Grandes Modelos de Linguagem (LLMs) podem gerar tokens de raciocínio antes de sua resposta final para melhorar o desempenho em tarefas complexas. Embora essas sequências se assemelhem a processos de pensamento humano, evidências empíricas revelam que elas não são uma explicação fiel do processo real de raciocínio do modelo. Para abordar essa lacuna entre aparência e função, introduzimos o quadro conceitual Estado sobre Tokens (SoT). O SoT reformula os tokens de raciocínio não como uma narrativa linguística, mas como um estado computacional externalizado — o único portador de informação persistente entre os ciclos de geração sem estado do modelo. Isso explica como os tokens podem conduzir um raciocínio correto sem serem uma explicação fiel quando lidos como texto, e traz à tona questões de pesquisa previamente negligenciadas sobre esses tokens. Argumentamos que, para compreender verdadeiramente o processo que os LLMs realizam, a pesquisa deve ir além da leitura dos tokens de raciocínio como texto e focar em decodificá-los como estado.
English
Large Language Models (LLMs) can generate reasoning tokens before their final answer to boost performance on complex tasks. While these sequences seem like human thought processes, empirical evidence reveals that they are not a faithful explanation of the model's actual reasoning process. To address this gap between appearance and function, we introduce the State over Tokens (SoT) conceptual framework. SoT reframes reasoning tokens not as a linguistic narrative, but as an externalized computational state -- the sole persistent information carrier across the model's stateless generation cycles. This explains how the tokens can drive correct reasoning without being a faithful explanation when read as text and surfaces previously overlooked research questions on these tokens. We argue that to truly understand the process that LLMs do, research must move beyond reading the reasoning tokens as text and focus on decoding them as state.