SemCoT: Aceleración del Razonamiento en Cadena mediante Tokens Implícitos Semánticamente Alineados

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

October 28, 2025

Autores: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li

cs.AI

Resumen

La verbosidad del razonamiento en cadena de pensamiento (CoT) dificulta su despliegue masivo en aplicaciones donde la eficiencia es crítica. Recientemente han surgido enfoques de CoT implícito, que codifican los pasos de razonamiento dentro de las representaciones ocultas (embeddings) del LLM (denominado "razonamiento implícito") en lugar de hacerlo con tokens explícitos. Este enfoque acelera el CoT al reducir la longitud del razonamiento y omitir algunos componentes del LLM. Sin embargo, los métodos existentes de CoT implícito enfrentan dos desafíos significativos: (1) no logran preservar la alineación semántica entre el razonamiento implícito (cuando se transforma a lenguaje natural) y el razonamiento de referencia (ground-truth), lo que resulta en una degradación significativa del rendimiento del CoT, y (2) se centran en reducir la longitud del razonamiento implícito, pero pasan por alto el considerable costo de tiempo que le toma a un LLM generar un token individual de razonamiento implícito. Para abordar estos desafíos, proponemos un novedoso marco de CoT implícito semánticamente alineado denominado SemCoT. En particular, para el primer desafío, diseñamos un transformador de oraciones (sentence transformer) entrenado de forma contrastiva que evalúa la alineación semántica entre el razonamiento implícito y el explícito, el cual se utiliza para garantizar la preservación semántica durante la optimización del razonamiento implícito. Para abordar el segundo desafío, introducimos un generador eficiente de razonamiento implícito mediante el ajuste fino (finetuning) de un modelo de lenguaje ligero utilizando destilación de conocimiento. Este generador es guiado por nuestro transformador de oraciones para destilar el razonamiento de referencia en un razonamiento implícito semánticamente alineado, al mismo tiempo que optimiza la precisión. SemCoT es el primer enfoque que mejora la eficiencia del CoT optimizando conjuntamente la velocidad de generación a nivel de token y preservando la alineación semántica con el razonamiento de referencia. Experimentos exhaustivos demuestran el rendimiento superior de SemCoT en comparación con los métodos más avanzados (state-of-the-art), tanto en eficiencia como en efectividad. Nuestro código se puede encontrar en https://github.com/YinhanHe123/SemCoT/.

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.