SemCoT : Accélération du raisonnement en chaîne de pensée par des jetons implicites sémantiquement alignés

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

October 28, 2025

papers.authors: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li

cs.AI

papers.abstract

La verbosité du raisonnement en chaîne de pensée (CoT) entrave son déploiement massif dans les applications critiques pour l'efficacité. Récemment, des approches implicites de CoT ont émergé, qui encodent les étapes de raisonnement dans les embeddings cachés des LLM (appelés « raisonnement implicite ») plutôt que dans des tokens explicites. Cette approche accélère le CoT en réduisant la longueur du raisonnement et en contournant certains composants des LLM. Cependant, les méthodes implicites de CoT existantes sont confrontées à deux défis majeurs : (1) elles ne préservent pas l'alignement sémantique entre le raisonnement implicite (lorsqu'il est transformé en langage naturel) et le raisonnement de référence, ce qui entraîne une dégradation significative des performances du CoT, et (2) elles se concentrent sur la réduction de la longueur du raisonnement implicite, mais négligent le coût temporel considérable pour un LLM à générer un token individuel de raisonnement implicite. Pour relever ces défis, nous proposons un nouveau cadre de CoT implicite sémantiquement aligné, nommé SemCoT. En particulier, pour le premier défi, nous concevons un transformeur de phrases entraîné par contraste qui évalue l'alignement sémantique entre les raisonnements implicite et explicite, utilisé pour préserver la sémantique lors de l'optimisation du raisonnement implicite. Pour adresser le second défi, nous introduisons un générateur de raisonnement implicite efficace en affinant un modèle de langage léger par distillation de connaissances. Ce générateur est guidé par notre transformeur de phrases pour distiller le raisonnement de référence en un raisonnement implicite sémantiquement aligné, tout en optimisant la précision. SemCoT est la première approche qui améliore l'efficacité du CoT en optimisant conjointement la vitesse de génération au niveau des tokens et la préservation de l'alignement sémantique avec le raisonnement de référence. Des expériences approfondies démontrent la performance supérieure de SemCoT par rapport aux méthodes de l'état de l'art en termes d'efficacité et d'efficience. Notre code est disponible à l'adresse https://github.com/YinhanHe123/SemCoT/.

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.