Sintonizzazione dei Pensieri Latenti: Colmare il Contesto e il Ragionamento con Informazioni Fuse nei Token Latenti
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
February 10, 2026
Autori: Weihao Liu, Dehai Min, Lu Cheng
cs.AI
Abstract
Mentre l’esplicita Catena del Ragionamento (CoT) fornisce ai Large Language Model (LLM) solide capacità di ragionamento, essa richiede che i modelli verbalizzino ogni passaggio intermedio in token testuali, vincolando i pensieri del modello allo spazio discreto del vocabolario. Recentemente, il ragionamento in spazi latenti continui è emerso come una promettente alternativa, consentendo un’inferenza più robusta e un calcolo flessibile al di là dei vincoli dei token discreti. Tuttavia, gli attuali paradigmi latenti soffrono spesso di collasso delle caratteristiche e instabilità, derivanti da disallineamenti distributivi quando si utilizzano ricorsivamente stati nascosti come embedding di input, o da problemi di allineamento quando si fa affidamento su modelli assistenti. Per affrontare ciò, proponiamo Latent Thoughts Tuning (LT-Tuning), un framework che ridefinisce la costruzione e l’impiego dei pensieri latenti. Invece di basarsi esclusivamente su stati nascosti grezzi, il nostro metodo introduce un meccanismo di Fusione Contesto-Previsione che sfrutta congiuntamente stati nascosti contestuali e una guida semantica predittiva dallo spazio di embedding del vocabolario. Combinato con una pipeline di apprendimento curriculare progressiva in tre fasi, LT-Tuning consente anche di passare dinamicamente tra modalità di pensiero latente ed esplicito. Gli esperimenti dimostrano che il nostro metodo supera le baseline esistenti di ragionamento latente, mitigando efficacemente il collasso delle caratteristiche e raggiungendo una robusta accuratezza di ragionamento.
English
While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.