L'État au-dessus des Tokens : Caractérisation du Rôle des Tokens de Raisonnement

State over Tokens: Characterizing the Role of Reasoning Tokens

December 14, 2025

papers.authors: Mosh Levy, Zohar Elyoseph, Shauli Ravfogel, Yoav Goldberg

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLM) peuvent générer des jetons de raisonnement avant leur réponse finale pour améliorer leurs performances sur des tâches complexes. Bien que ces séquences semblent ressembler à des processus de pensée humains, les preuves empiriques révèlent qu'elles ne constituent pas une explication fidèle du véritable processus de raisonnement du modèle. Pour combler cet écart entre l'apparence et la fonction, nous introduisons le cadre conceptuel d'État sur les Jetons (SoT). SoT reconsidère les jetons de raisonnement non pas comme un récit linguistique, mais comme un état computationnel externalisé – le seul porteur d'information persistant à travers les cycles de génération sans état du modèle. Cela explique comment les jetons peuvent piloter un raisonnement correct sans pour autant être une explication fidèle lorsqu'ils sont lus comme du texte, et met en lumière des questions de recherche jusqu'alors négligées concernant ces jetons. Nous soutenons que pour vraiment comprendre le processus suivi par les LLM, la recherche doit dépasser la lecture des jetons de raisonnement comme du texte et se concentrer sur leur décodage en tant qu'état.

English

Large Language Models (LLMs) can generate reasoning tokens before their final answer to boost performance on complex tasks. While these sequences seem like human thought processes, empirical evidence reveals that they are not a faithful explanation of the model's actual reasoning process. To address this gap between appearance and function, we introduce the State over Tokens (SoT) conceptual framework. SoT reframes reasoning tokens not as a linguistic narrative, but as an externalized computational state -- the sole persistent information carrier across the model's stateless generation cycles. This explains how the tokens can drive correct reasoning without being a faithful explanation when read as text and surfaces previously overlooked research questions on these tokens. We argue that to truly understand the process that LLMs do, research must move beyond reading the reasoning tokens as text and focus on decoding them as state.