SemCoT: Beschleunigung von Chain-of-Thought-Reasoning durch semantisch ausgerichtete implizite Tokens

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

October 28, 2025

papers.authors: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li

cs.AI

papers.abstract

Die Ausführlichkeit von Chain-of-Thought (CoT)-Argumentation behindert deren breiten Einsatz in effizienzkritischen Anwendungen. Kürzlich sind implizite CoT-Ansätze entstanden, die Argumentationsschritte innerhalb der versteckten Embeddings eines LLM kodieren (als „implizite Argumentation“ bezeichnet) und nicht in expliziten Tokens. Dieser Ansatz beschleunigt CoT, indem die Argumentationslänge reduziert und einige LLM-Komponenten umgangen werden. Allerdings sehen sich bestehende implizite CoT-Methoden zwei großen Herausforderungen gegenüber: (1) Sie bewahren keine semantische Übereinstimmung zwischen der impliziten Argumentation (wenn sie in natürliche Sprache transformiert wird) und der Ground-Truth-Argumentation, was zu einer erheblichen Verschlechterung der CoT-Leistung führt, und (2) Sie konzentrieren sich darauf, die Länge der impliziten Argumentation zu reduzieren; jedoch vernachlässigen sie die beträchtliche Zeit, die ein LLM für die Generierung eines einzelnen impliziten Argumentationstokens benötigt. Um diese Herausforderungen zu bewältigen, schlagen wir einen neuartigen, semantisch abgestimmten impliziten CoT-Rahmen namens SemCoT vor. Insbesondere für die erste Herausforderung entwerfen wir einen kontrastiv trainierten Sentence Transformer, der die semantische Übereinstimmung zwischen impliziter und expliziter Argumentation bewertet und zur Durchsetzung der semantischen Erhaltung während der Optimierung der impliziten Argumentation verwendet wird. Um die zweite Herausforderung anzugehen, führen wir einen effizienten Generator für implizite Argumentation ein, indem wir ein leichtgewichtiges Sprachmodell mittels Knowledge Distillation feinabstimmen. Dieser Generator wird von unserem Sentence Transformer geleitet, um die Ground-Truth-Argumentation in eine semantisch abgestimmte implizite Argumentation zu destillieren und dabei auch die Genauigkeit zu optimieren. SemCoT ist der erste Ansatz, der die CoT-Effizienz durch gemeinsame Optimierung der Token-Generierungsgeschwindigkeit und der Bewahrung der semantischen Übereinstimmung mit der Ground-Truth-Argumentation steigert. Umfangreiche Experimente demonstrieren die überlegene Leistung von SemCoT im Vergleich zu state-of-the-art Methoden sowohl in Bezug auf Effizienz als auch Wirksamkeit. Unser Code ist unter https://github.com/YinhanHe123/SemCoT/ verfügbar.

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.