Токены цепочки рассуждений являются переменными компьютерной программы.

Chain-of-Thought Tokens are Computer Program Variables

May 8, 2025

Авторы: Fangwei Zhu, Peiyi Wang, Zhifang Sui

cs.AI

Аннотация

Метод "цепочки рассуждений" (Chain-of-Thoughts, CoT) требует, чтобы крупные языковые модели (LLM) генерировали промежуточные шаги перед достижением окончательного ответа, и доказал свою эффективность в решении сложных задач, требующих логического мышления. Однако внутренний механизм CoT до сих пор остается в значительной степени неясным. В данной работе мы эмпирически исследуем роль токенов CoT в LLM на двух композиционных задачах: умножении многозначных чисел и динамическом программировании. Хотя CoT необходим для решения этих задач, мы обнаружили, что сохранение только тех токенов, которые хранят промежуточные результаты, позволяет достичь сопоставимой производительности. Более того, мы наблюдаем, что хранение промежуточных результатов в альтернативной латентной форме не влияет на производительность модели. Мы также случайным образом вмешиваемся в некоторые значения в CoT и замечаем, что последующие токены CoT и окончательный ответ изменяются соответствующим образом. Эти результаты позволяют предположить, что токены CoT могут функционировать подобно переменным в компьютерных программах, но с потенциальными недостатками, такими как непреднамеренные упрощения и ограничения вычислительной сложности между токенами. Код и данные доступны по адресу https://github.com/solitaryzero/CoTs_are_Variables.

English

Chain-of-thoughts (CoT) requires large language models (LLMs) to generate intermediate steps before reaching the final answer, and has been proven effective to help LLMs solve complex reasoning tasks. However, the inner mechanism of CoT still remains largely unclear. In this paper, we empirically study the role of CoT tokens in LLMs on two compositional tasks: multi-digit multiplication and dynamic programming. While CoT is essential for solving these problems, we find that preserving only tokens that store intermediate results would achieve comparable performance. Furthermore, we observe that storing intermediate results in an alternative latent form will not affect model performance. We also randomly intervene some values in CoT, and notice that subsequent CoT tokens and the final answer would change correspondingly. These findings suggest that CoT tokens may function like variables in computer programs but with potential drawbacks like unintended shortcuts and computational complexity limits between tokens. The code and data are available at https://github.com/solitaryzero/CoTs_are_Variables.