Ajustement des Pensées Latentes : Relier le Contexte et le Raisonnement par une Information Fusionnée dans les Tokens Latents
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
February 10, 2026
papers.authors: Weihao Liu, Dehai Min, Lu Cheng
cs.AI
papers.abstract
Bien que le raisonnement en chaîne explicite (Chain-of-Thought, CoT) dote les grands modèles de langage (LLM) de solides capacités de raisonnement, il les contraint à verbaliser chaque étape intermédiaire en tokens textuels, limitant ainsi les pensées du modèle à l'espace discret du vocabulaire. Récemment, le raisonnement dans un espace latent continu est apparu comme une alternative prometteure, permettant une inférence plus robuste et un calcul flexible au-delà des contraintes des tokens discrets. Cependant, les paradigmes latents actuels souffrent souvent d'un effondrement des caractéristiques et d'une instabilité, provenant d'inadéquations de distribution lors de l'utilisation récurrente des états cachés comme embeddings d'entrée, ou de problèmes d'alignement lors du recours à des modèles assistants. Pour remédier à cela, nous proposons le Réglage par Pensées Latentes (LT-Tuning), un cadre qui redéfinit la construction et le déploiement des pensées latentes. Au lieu de reposer uniquement sur les états cachés bruts, notre méthode introduit un mécanisme de Contexte-Prédiction-Fusion qui exploite conjointement les états cachés contextuels et un guidage sémantique prédictif provenant de l'espace d'embedding du vocabulaire. Combiné à un pipeline d'apprentissage curriculaire progressif en trois étapes, LT-Tuning permet également de basculer dynamiquement entre les modes de pensée latent et explicite. Les expériences démontrent que notre méthode surpasse les bases de référence existantes en raisonnement latent, atténuant efficacement l'effondrement des caractéristiques et atteignant une précision de raisonnement robuste.
English
While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.