SemCoT: Ускорение цепочечных рассуждений с помощью семантически выровненных неявных токенов

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

October 28, 2025

Авторы: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li

cs.AI

Аннотация

Избыточная длина рассуждений по цепочке мыслей (CoT) препятствует их массовому внедрению в приложениях, критичных к эффективности. Недавно появились подходы с неявной CoT, которые кодируют шаги рассуждений в скрытых эмбеддингах больших языковых моделей (так называемое «неявное рассуждение»), а не в явных токенах. Этот подход ускоряет CoT за счет сокращения длины рассуждений и обхода некоторых компонентов LLM. Однако существующие методы неявной CoT сталкиваются с двумя серьезными проблемами: (1) они не сохраняют семантическое соответствие между неявным рассуждением (при преобразовании в естественный язык) и эталонным рассуждением, что приводит к значительному ухудшению производительности CoT, и (2) они сосредоточены на сокращении длины неявного рассуждения, но игнорируют значительные временные затраты LLM на генерацию одного отдельного токена неявного рассуждения. Для решения этих проблем мы предлагаем новую семантически выровненную структуру неявной CoT, названную SemCoT. В частности, для первой проблемы мы разрабатываем контрастно обученный sentence transformer, который оценивает семантическое соответствие между неявным и явным рассуждением; он используется для обеспечения сохранения семантики в процессе оптимизации неявного рассуждения. Для решения второй проблемы мы представляем эффективный генератор неявных рассуждений путем дообучения облегченной языковой модели с использованием дистилляции знаний. Этот генератор направляется нашим sentence transformer'ом для дистилляции эталонного рассуждения в семантически выровненное неявное рассуждение, одновременно оптимизируя точность. SemCoT — это первый подход, который повышает эффективность CoT за счет совместной оптимизации скорости генерации на уровне токенов и сохранения семантического соответствия с эталонным рассуждением. Многочисленные эксперименты демонстрируют превосходную производительность SemCoT по сравнению с современными методами как по эффективности, так и по результативности. Наш код доступен по адресу https://github.com/YinhanHe123/SemCoT/.

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.