Sintonia de Pensamentos Latentes: Conectando Contexto e Raciocínio com Informação Fundida em Tokens Latentes
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
February 10, 2026
Autores: Weihao Liu, Dehai Min, Lu Cheng
cs.AI
Resumo
Embora o Chain-of-Thought (CoT) explícito forneça aos Grandes Modelos de Linguagem (LLMs) capacidades de raciocínio robustas, ele exige que os modelos verbalizem cada passo intermediário em *tokens* de texto, restringindo os pensamentos do modelo ao espaço discreto do vocabulário. Recentemente, o raciocínio em espaço latente contínuo surgiu como uma alternativa promissora, permitindo uma inferência mais robusta e computação flexível para além das restrições dos *tokens* discretos. No entanto, os paradigmas latentes atuais frequentemente sofrem com colapso de características e instabilidade, decorrentes de incompatibilidades de distribuição ao usar estados ocultos recursivamente como *embeddings* de entrada, ou de problemas de alinhamento ao depender de modelos assistentes. Para resolver isso, propomos o Latent Thoughts Tuning (LT-Tuning), um quadro que redefine como os pensamentos latentes são construídos e implantados. Em vez de depender exclusivamente de estados ocultos brutos, nosso método introduz um mecanismo de Fusão de Contexto-Predição que aproveita conjuntamente estados ocultos contextuais e orientação semântica preditiva do espaço de *embedding* do vocabulário. Combinado com um *pipeline* de aprendizado curricular progressivo em três estágios, o LT-Tuning também permite alternar dinamicamente entre modos de pensamento latente e explícito. Experimentos demonstram que nosso método supera as bases de raciocínio latente existentes, mitigando efetivamente o colapso de características e alcançando uma precisão de raciocínio robusta.
English
While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.