Latent Thoughts Tuning: Überbrückung von Kontext und logischem Denken durch fusionierte Information in latenten Tokens
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
February 10, 2026
papers.authors: Weihao Liu, Dehai Min, Lu Cheng
cs.AI
papers.abstract
Während explizite Chain-of-Thought (CoT) große Sprachmodelle (LLMs) mit starken Reasoning-Fähigkeiten ausstattet, erfordert sie, dass Modelle jeden Zwischenschritt in Text-Tokens verbalisieren, was die Gedanken des Modells auf den diskreten Vokabularraum beschränkt. Kürzlich hat sich Reasoning im kontinuierlichen latenten Raum als vielversprechende Alternative herausgestellt, das robustere Inferenz und flexiblere Berechnung jenseits diskreter Token-Einschränkungen ermöglicht. Allerdings leiden aktuelle latente Paradigmen häufig unter Feature-Collapse und Instabilität, die von Verteilungsunterschieden bei der wiederkehrenden Verwendung versteckter Zustände als Eingabe-Embeddings oder von Ausrichtungsproblemen bei der Abhängigkeit von Hilfsmodellen herrühren. Um dies zu adressieren, schlagen wir Latent Thoughts Tuning (LT-Tuning) vor, ein Framework, das neu definiert, wie latente Gedanken konstruiert und eingesetzt werden. Anstatt sich ausschließlich auf rohe versteckte Zustände zu verlassen, führt unsere Methode einen Context-Prediction-Fusion-Mechanismus ein, der kontextuelle versteckte Zustände und prädiktive semantische Führung aus dem Vokabular-Embedding-Raum gemeinsam nutzt. Kombiniert mit einer progressiven Drei-Stufen-Curriculum-Learning-Pipeline ermöglicht LT-Tuning auch das dynamische Umschalten zwischen latenten und expliziten Denkmodi. Experimente zeigen, dass unsere Methode bestehende latente Reasoning-Baselines übertrifft, Feature-Collapse wirksam abmildert und eine robuste Reasoning-Genauigkeit erreicht.
English
While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.