SIM-CoT: Gesuperviseerde Impliciete Gedachteketen

Samenvatting

Impliciete Chain-of-Thought (CoT)-methoden bieden een veelbelovend, token-efficiënt alternatief voor expliciete CoT-redenering in Large Language Models (LLMs), maar een aanhoudende prestatiekloof heeft de toepassing van impliciete CoT beperkt. Wij identificeren een kernprobleem van latente instabiliteit door het schalen van het rekenbudget van impliciete CoT-benaderingen: naarmate we het aantal impliciete redeneertokens verhogen om de prestaties te verbeteren, wordt het trainingsproces vaak instabiel en stort het in. Onze analyse toont aan dat deze instabiliteit ontstaat doordat de latente representaties homogeen worden en hun semantische diversiteit verliezen, een falen dat wordt veroorzaakt door onvoldoende stap-voor-stap-supervisie in bestaande impliciete CoT-benaderingen. Om dit probleem aan te pakken, stellen we SIM-CoT voor, een plug-and-play trainingsmodule die stap-voor-stap-supervisie introduceert om de latente redeneerruimte te stabiliseren en te verrijken. Specifiek maakt SIM-CoT tijdens de training gebruik van een hulpdecoder om elk impliciet token uit te lijnen met de bijbehorende expliciete redeneerstap, waardoor wordt gegarandeerd dat latente toestanden onderscheidende en betekenisvolle informatie vastleggen. De voorgestelde hulpdecoder wordt tijdens de inferentie verwijderd, waardoor de rekenkundige efficiëntie van impliciete CoT-methoden behouden blijft zonder extra overhead. Bovendien biedt de hulpdecoder interpreteerbaarheid van impliciete redenering door elk latent token te projecteren op een expliciete redeneervocabulaire, waardoor stap-voor-stap-visualisatie van semantische rollen en diagnose mogelijk wordt. SIM-CoT verbetert zowel de nauwkeurigheid binnen het domein als de stabiliteit buiten het domein van verschillende impliciete CoT-methoden aanzienlijk, waarbij baseline-methoden zoals Coconut met +8,2% op GPT-2 en CODI met +3,0% op LLaMA-3.1 8B worden verbeterd. Met een sterke schaalbaarheid overtreft SIM-CoT ook de expliciete CoT-baseline op GPT-2 met 2,1% bij een 2,3× grotere token-efficiëntie, terwijl de prestatiekloop op grotere modellen zoals LLaMA-3.1 8B aanzienlijk wordt verkleind.

English

Implicit Chain-of-Thought (CoT) methods present a promising, token-efficient alternative to explicit CoT reasoning in Large Language Models (LLMs), but a persistent performance gap has limited the application of implicit CoT. We identify a core latent instability issue by scaling the computational budget of implicit CoT approaches: as we increase the number of implicit reasoning tokens to enhance performance, the training process often becomes unstable and collapses. Our analysis reveals that this instability arises from the latent representations becoming homogeneous and losing their semantic diversity, a failure caused by insufficient step-level supervision in existing implicit CoT approaches. To address this issue, we propose SIM-CoT, a plug-and-play training module that introduces step-level supervision to stabilize and enrich the latent reasoning space. Specifically, SIM-CoT employs an auxiliary decoder during training to align each implicit token with its corresponding explicit reasoning step, ensuring that latent states capture distinct and meaningful information. The proposed auxiliary decoder is removed during inference, preserving the computational efficiency of implicit CoT methods with no added overhead. In addition, the auxiliary decoder affords interpretability of implicit reasoning by projecting each latent token onto an explicit reasoning vocabulary, enabling per-step visualization of semantic roles and diagnosis. SIM-CoT significantly enhances both the in-domain accuracy and out-of-domain stability of various implicit CoT methods, boosting baselines like Coconut by +8.2% on GPT-2 and CODI by +3.0% on LLaMA-3.1 8B. Demonstrating strong scalability, SIM-CoT also surpasses the explicit CoT baseline on GPT-2 by 2.1% with 2.3\times greater token efficiency, while substantially closing the performance gap on larger models like LLaMA-3.1 8B.

SIM-CoT: Gesuperviseerde Impliciete Gedachteketen

SIM-CoT: Supervised Implicit Chain-of-Thought

Samenvatting

Support