Chain-of-Thought-Tokens sind Variablen in Computerprogrammen.

Chain-of-Thought Tokens are Computer Program Variables

May 8, 2025

Autoren: Fangwei Zhu, Peiyi Wang, Zhifang Sui

cs.AI

Zusammenfassung

Chain-of-Thoughts (CoT) erfordert, dass große Sprachmodelle (LLMs) Zwischenschritte generieren, bevor sie die endgültige Antwort erreichen, und hat sich als effektiv erwiesen, um LLMs bei der Lösung komplexer Denkaufgaben zu unterstützen. Der innere Mechanismus von CoT bleibt jedoch weitgehend unklar. In diesem Papier untersuchen wir empirisch die Rolle von CoT-Tokens in LLMs anhand zweier zusammengesetzter Aufgaben: mehrstellige Multiplikation und dynamische Programmierung. Obwohl CoT für die Lösung dieser Probleme unerlässlich ist, stellen wir fest, dass die Beibehaltung nur der Tokens, die Zwischenergebnisse speichern, eine vergleichbare Leistung erzielt. Darüber hinaus beobachten wir, dass die Speicherung von Zwischenergebnissen in einer alternativen latenten Form die Modellleistung nicht beeinträchtigt. Wir intervenieren auch zufällig bei einigen Werten in CoT und stellen fest, dass sich die nachfolgenden CoT-Tokens und die endgültige Antwort entsprechend ändern. Diese Erkenntnisse deuten darauf hin, dass CoT-Tokens möglicherweise wie Variablen in Computerprogrammen fungieren, jedoch mit potenziellen Nachteilen wie unbeabsichtigten Abkürzungen und Grenzen der Rechenkomplexität zwischen den Tokens. Der Code und die Daten sind unter https://github.com/solitaryzero/CoTs_are_Variables verfügbar.

English

Chain-of-thoughts (CoT) requires large language models (LLMs) to generate intermediate steps before reaching the final answer, and has been proven effective to help LLMs solve complex reasoning tasks. However, the inner mechanism of CoT still remains largely unclear. In this paper, we empirically study the role of CoT tokens in LLMs on two compositional tasks: multi-digit multiplication and dynamic programming. While CoT is essential for solving these problems, we find that preserving only tokens that store intermediate results would achieve comparable performance. Furthermore, we observe that storing intermediate results in an alternative latent form will not affect model performance. We also randomly intervene some values in CoT, and notice that subsequent CoT tokens and the final answer would change correspondingly. These findings suggest that CoT tokens may function like variables in computer programs but with potential drawbacks like unintended shortcuts and computational complexity limits between tokens. The code and data are available at https://github.com/solitaryzero/CoTs_are_Variables.