Sintonización de Pensamientos Latentes: Uniendo Contexto y Razonamiento con Información Fusionada en Tokens Latentes
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
February 10, 2026
Autores: Weihao Liu, Dehai Min, Lu Cheng
cs.AI
Resumen
Si bien el pensamiento en cadena explícito (Chain-of-Thought, CoT) dota a los Grandes Modelos de Lenguaje (LLMs) de sólidas capacidades de razonamiento, requiere que los modelos verbalicen cada paso intermedio en tokens de texto, lo que restringe los pensamientos del modelo al espacio discreto del vocabulario. Recientemente, el razonamiento en espacio latente continuo ha surgido como una alternativa prometedora, permitiendo una inferencia más robusta y un cómputo flexible más allá de las restricciones de los tokens discretos. Sin embargo, los paradigmas latentes actuales a menudo adolecen de colapso de características e inestabilidad, derivados de desajustes en la distribución al usar recurrentemente estados ocultos como *embeddings* de entrada, o de problemas de alineación al depender de modelos auxiliares. Para abordar esto, proponemos Latent Thoughts Tuning (LT-Tuning), un marco que redefine cómo se construyen y despliegan los pensamientos latentes. En lugar de depender únicamente de estados ocultos en bruto, nuestro método introduce un mecanismo de Fusión de Contexto y Predicción que aprovecha conjuntamente estados ocultos contextuales y una guía semántica predictiva del espacio de *embeddings* del vocabulario. Combinado con una canalización de aprendizaje curricular progresivo de tres etapas, LT-Tuning también permite cambiar dinámicamente entre modos de pensamiento latente y explícito. Los experimentos demuestran que nuestro método supera a los baselines existentes de razonamiento latente, mitigando efectivamente el colapso de características y logrando una precisión de razonamiento robusta.
English
While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.