SemCoT: Accelerazione del Ragionamento a Catena di Pensiero mediante Token Impliciti Semantica-Allineati

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

October 28, 2025

Autori: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li

cs.AI

Abstract

La verbosità del ragionamento a catena di pensiero (CoT) ne ostacola la diffusione su larga scala nelle applicazioni critiche per l'efficienza. Recentemente sono emersi approcci CoT impliciti, che codificano i passaggi di ragionamento all'interno degli embedding nascosti dei LLM (definiti "ragionamento implicito") anziché in token espliciti. Questo approccio accelera il CoT riducendo la lunghezza del ragionamento e bypassando alcuni componenti del LLM. Tuttavia, i metodi CoT impliciti esistenti affrontano due sfide significative: (1) non riescono a preservare l'allineamento semantico tra il ragionamento implicito (quando trasformato in linguaggio naturale) e il ragionamento di ground-truth, risultando in un significativo degrado delle prestazioni del CoT, e (2) si concentrano sulla riduzione della lunghezza del ragionamento implicito; tuttavia, trascurano il notevole costo temporale per un LLM di generare un singolo token di ragionamento implicito. Per affrontare queste sfide, proponiamo una nuova struttura CoT implicita semanticamente allineata denominata SemCoT. In particolare, per la prima sfida, progettiamo un sentence transformer addestrato in modo contrastivo che valuta l'allineamento semantico tra ragionamento implicito ed esplicito, utilizzato per imporre la preservazione semantica durante l'ottimizzazione del ragionamento implicito. Per affrontare la seconda sfida, introduciamo un generatore di ragionamento implicito efficiente effettuando il fine-tuning di un modello linguistico leggero utilizzando la distillazione della conoscenza. Questo generatore è guidato dal nostro sentence transformer per distillare il ragionamento di ground-truth in un ragionamento implicito semanticamente allineato, ottimizzando anche per l'accuratezza. SemCoT è il primo approccio che migliora l'efficienza del CoT ottimizzando congiuntamente la velocità di generazione a livello di token e preservando l'allineamento semantico con il ragionamento di ground-truth. Esperimenti estensivi dimostrano le prestazioni superiori di SemCoT rispetto ai metodi allo stato dell'arte sia in termini di efficienza che di efficacia. Il nostro codice è disponibile all'indirizzo https://github.com/YinhanHe123/SemCoT/.

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.