SemCoT: Versnelling van kettingredeneringen door middel van semantisch uitgelijnde impliciete tokens

SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens

October 28, 2025

Auteurs: Yinhan He, Wendy Zheng, Yaochen Zhu, Zaiyi Zheng, Lin Su, Sriram Vasudevan, Qi Guo, Liangjie Hong, Jundong Li

cs.AI

Samenvatting

De verbaosheid van Chain-of-Thought (CoT) redenering belemmert de grootschalige inzet ervan in efficiëntie-kritieke toepassingen. Recent zijn impliciete CoT-benaderingen ontstaan, die redeneerstappen coderen binnen de verborgen embeddingruimte van een LLM (aangeduid als "impliciete redenering") in plaats van in expliciete tokens. Deze aanpak versnelt CoT door de redeneerlengte te verkorten en sommige LLM-componenten te omzeilen. Bestaande impliciete CoT-methoden kampen echter met twee grote uitdagingen: (1) ze slagen er niet in de semantische afstemming te behouden tussen de impliciete redenering (wanneer omgezet naar natuurlijke taal) en de grond-waarheid-redenering, wat leidt tot een significante prestatievermindering van CoT, en (2) ze richten zich op het verkorten van de lengte van de impliciete redenering, maar negeren de aanzienlijke tijdskosten voor een LLM om één individuele impliciete redeneringstoken te genereren. Om deze uitdagingen aan te pakken, stellen wij een nieuw semantisch-afgestemd impliciet CoT-raamwerk voor, genaamd SemCoT. Specifiek ontwerpen wij voor de eerste uitdaging een contrastief getrainde sentence-transformer die de semantische afstemming tussen impliciete en expliciete redenering evalueert, welke wordt gebruikt om semantisch behoud af te dwingen tijdens de optimalisatie van impliciete redenering. Voor de tweede uitdaging introduceren wij een efficiënte impliciete-redenering-generator door een lichtgewicht taalmodel te fine-tunen met knowledge distillation. Deze generator wordt geleid door onze sentence-transformer om de grond-waarheid-redenering te distilleren tot semantisch afgestemde impliciete redenering, waarbij tevens wordt geoptimaliseerd voor nauwkeurigheid. SemCoT is de eerste aanpak die de CoT-efficiëntie verbetert door gezamenlijk de tokenspecifieke generatiesnelheid te optimaliseren en de semantische afstemming met de grond-waarheid-redenering te behouden. Uitgebreide experimenten tonen de superieure prestaties van SemCoT aan in vergelijking met state-of-the-art methoden, zowel qua efficiëntie als effectiviteit. Onze code is te vinden op https://github.com/YinhanHe123/SemCoT/.

English

The verbosity of Chain-of-Thought (CoT) reasoning hinders its mass deployment in efficiency-critical applications. Recently, implicit CoT approaches have emerged, which encode reasoning steps within LLM's hidden embeddings (termed ``implicit reasoning'') rather than explicit tokens. This approach accelerates CoT by reducing the reasoning length and bypassing some LLM components. However, existing implicit CoT methods face two significant challenges: (1) they fail to preserve the semantic alignment between the implicit reasoning (when transformed to natural language) and the ground-truth reasoning, resulting in a significant CoT performance degradation, and (2) they focus on reducing the length of the implicit reasoning; however, they neglect the considerable time cost for an LLM to generate one individual implicit reasoning token. To tackle these challenges, we propose a novel semantically-aligned implicit CoT framework termed SemCoT. In particular, for the first challenge, we design a contrastively trained sentence transformer that evaluates semantic alignment between implicit and explicit reasoning, which is used to enforce semantic preservation during implicit reasoning optimization. To address the second challenge, we introduce an efficient implicit reasoning generator by finetuning a lightweight language model using knowledge distillation. This generator is guided by our sentence transformer to distill ground-truth reasoning into semantically aligned implicit reasoning, while also optimizing for accuracy. SemCoT is the first approach that enhances CoT efficiency by jointly optimizing token-level generation speed and preserving semantic alignment with ground-truth reasoning. Extensive experiments demonstrate the superior performance of SemCoT compared to state-of-the-art methods in both efficiency and effectiveness. Our code can be found at https://github.com/YinhanHe123/SemCoT/.