Les jetons de Chaîne de Pensée sont des variables de programme informatique.

Chain-of-Thought Tokens are Computer Program Variables

May 8, 2025

Auteurs: Fangwei Zhu, Peiyi Wang, Zhifang Sui

cs.AI

Résumé

La méthode de chaîne de pensées (Chain-of-Thoughts, CoT) nécessite que les grands modèles de langage (LLMs) génèrent des étapes intermédiaires avant d'arriver à la réponse finale, et s'est avérée efficace pour aider les LLMs à résoudre des tâches de raisonnement complexes. Cependant, le mécanisme interne de la CoT reste largement méconnu. Dans cet article, nous étudions empiriquement le rôle des tokens de CoT dans les LLMs sur deux tâches compositionnelles : la multiplication de nombres à plusieurs chiffres et la programmation dynamique. Bien que la CoT soit essentielle pour résoudre ces problèmes, nous constatons que la conservation uniquement des tokens qui stockent les résultats intermédiaires permet d'obtenir des performances comparables. De plus, nous observons que le stockage des résultats intermédiaires sous une forme latente alternative n'affecte pas les performances du modèle. Nous intervenons également de manière aléatoire sur certaines valeurs dans la CoT, et remarquons que les tokens de CoT suivants ainsi que la réponse finale changent en conséquence. Ces résultats suggèrent que les tokens de CoT pourraient fonctionner comme des variables dans les programmes informatiques, mais avec des inconvénients potentiels tels que des raccourcis involontaires et des limites de complexité computationnelle entre les tokens. Le code et les données sont disponibles à l'adresse https://github.com/solitaryzero/CoTs_are_Variables.

English

Chain-of-thoughts (CoT) requires large language models (LLMs) to generate intermediate steps before reaching the final answer, and has been proven effective to help LLMs solve complex reasoning tasks. However, the inner mechanism of CoT still remains largely unclear. In this paper, we empirically study the role of CoT tokens in LLMs on two compositional tasks: multi-digit multiplication and dynamic programming. While CoT is essential for solving these problems, we find that preserving only tokens that store intermediate results would achieve comparable performance. Furthermore, we observe that storing intermediate results in an alternative latent form will not affect model performance. We also randomly intervene some values in CoT, and notice that subsequent CoT tokens and the final answer would change correspondingly. These findings suggest that CoT tokens may function like variables in computer programs but with potential drawbacks like unintended shortcuts and computational complexity limits between tokens. The code and data are available at https://github.com/solitaryzero/CoTs_are_Variables.