SemCoT: 意味的に整合した暗黙的トークンによる思考連鎖推論の高速化

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

October 28, 2025

著者: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li

cs.AI

要旨

思考連鎖（CoT）推論の冗長性は、効率性が重視されるアプリケーションにおける大規模な展開を妨げている。近年、推論ステップを明示的なトークンではなく、LLMの隠れ埋め込み内に符号化する（「暗黙的推論」と呼ばれる）暗黙的CoTアプローチが登場した。このアプローチは、推論の長さを短縮し、一部のLLMコンポーネントをバイパスすることで、CoTを高速化する。しかし、既存の暗黙的CoT手法は2つの重大な課題に直面している：(1) 暗黙的推論（自然言語に変換された場合）と真の推論との間の意味的整合性を保持できず、結果としてCoTの性能が大幅に低下する。(2) 暗黙的推論の長さ短縮に注力する一方で、個々の暗黙的推論トークンをLLMが生成する際のかなりの時間コストを無視している。これらの課題に取り組むため、我々はSemCoTと名付けた、意味的に整合性のある新しい暗黙的CoTフレームワークを提案する。特に、最初の課題に対しては、暗黙的推論と明示的推論の間の意味的整合性を評価する、対照学習により訓練されたセンテンストランスフォーマーを設計し、暗黙的推論の最適化過程で意味の保存を強化するために用いる。第二の課題に対処するため、知識蒸留を用いて軽量な言語モデルをファインチューニングすることで、効率的な暗黙的推論生成器を導入する。この生成器は、我々のセンテンストランスフォーマーによって導かれ、真の推論を意味的に整合性のある暗黙的推論へと蒸留すると同時に、正確性も最適化する。SemCoTは、トークンレベルの生成速度の最適化と、真の推論との意味的整合性の保持を共同で最適化することで、CoTの効率を向上させる初めてのアプローチである。大規模な実験により、SemCoTが効率性と有効性の両方において、最先端手法と比較して優れた性能を発揮することが実証された。コードはhttps://github.com/YinhanHe123/SemCoT/ で公開されている。

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.