Настройка латентных мыслей: объединение контекста и рассуждений с помощью слияния информации в латентных токенах

Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens

February 10, 2026

Авторы: Weihao Liu, Dehai Min, Lu Cheng

cs.AI

Аннотация

В то время как явный метод цепочки рассуждений (Chain-of-Thought, CoT) наделяет большие языковые модели (LLM) мощными способностями к логическому выводу, он требует от моделей вербализации каждого промежуточного шага в виде текстовых токенов, что ограничивает ход мыслей модели дискретным пространством словаря. В последнее время рассуждения в непрерывном латентном пространстве стали перспективной альтернативой, обеспечивая более устойчивый вывод и гибкие вычисления без ограничений дискретных токенов. Однако современные латентные парадигмы часто страдают от коллапса признаков и нестабильности, вызванных несоответствием распределений при рекуррентном использовании скрытых состояний в качестве входных эмбеддингов, или проблемами выравнивания при зависимости от моделей-ассистентов. Для решения этой проблемы мы предлагаем Latent Thoughts Tuning (LT-Tuning) — фреймворк, который переопределяет способ построения и использования латентных мыслей. Вместо того чтобы полагаться исключительно на сырые скрытые состояния, наш метод вводит механизм Context-Prediction-Fusion, который совместно использует контекстуальные скрытые состояния и прогнозную семантическую ориентацию из пространства эмбеддингов словаря. В сочетании с прогрессивным трехэтапным конвейером обучения по учебному плану (curriculum learning) LT-Tuning также позволяет динамически переключаться между латентным и явным режимами мышления. Эксперименты показывают, что наш метод превосходит существующие базовые подходы к латентным рассуждениям, эффективно mitigating коллапс признаков и достигая устойчивой точности логического вывода.

English

While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.