Latente Gedachten Afstemming: Overbrugging van Context en Redenering met Gefuseerde Informatie in Latente Tokens
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
February 10, 2026
Auteurs: Weihao Liu, Dehai Min, Lu Cheng
cs.AI
Samenvatting
Hoewel expliciete Chain-of-Thought (CoT) Large Language Models (LLM's) voorziet van sterke redeneervermogens, vereist het dat modellen elke tussenstap verwoorden in teksttokens, wat de gedachten van het model beperkt tot de discrete vocabulaire ruimte. Recentelijk is redeneren in een continue latente ruimte naar voren gekomen als een veelbelovend alternatief, waardoor robuustere inferentie en flexibelere berekening mogelijk worden, voorbij de beperkingen van discrete tokens. Huidige latente paradigma's kampen echter vaak met feature collapse en instabiliteit, voortkomend uit distributiemismatches bij het recursief gebruiken van verborgen toestanden als invoer-embeddings, of uit aligneringsproblemen bij het vertrouwen op assistent-modellen. Om dit aan te pakken, stellen we Latent Thoughts Tuning (LT-Tuning) voor, een raamwerk dat herdefinieert hoe latente gedachten worden geconstrueerd en ingezet. In plaats van uitsluitend te vertrouwen op ruwe verborgen toestanden, introduceert onze methode een Context-Prediction-Fusion-mechanisme dat gezamenlijk gebruikmaakt van contextuele verborgen toestanden en voorspellende semantische begeleiding vanuit de vocabulaire embeddingruimte. Gecombineerd met een progressieve drie-fasen curriculum learning-pijplijn, stelt LT-Tuning ook in staat om dynamisch te schakelen tussen latente en expliciete denkmodi. Experimenten tonen aan dat onze methode de bestaande latente redeneer-baselines overtreft, effectief feature collapse vermindert en robuuste redeneernauwkeurigheid bereikt.
English
While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.