잠재 사고 튜닝: 잠재 토큰 내 융합 정보를 통한 맥락과 추론의 연결

Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens

February 10, 2026

저자: Weihao Liu, Dehai Min, Lu Cheng

cs.AI

초록

명시적 사고 연쇄(Chain-of-Thought, CoT)는 대규모 언어 모델(LLM)에 강력한 추론 능력을 부여하지만, 모델이 모든 중간 단계를 텍스트 토큰으로 구술하도록 요구하여 모델의 사고를 이산적인 어휘 공간에 제한합니다. 최근 연속 잠재 공간에서의 추론이 유망한 대안으로 부상하며, 이산적인 토큰 제약을 넘어서는 더 강건한 추론과 유연한 계산을 가능하게 합니다. 그러나 현재의 잠재 패러다임은 은닉 상태를 반복적으로 입력 임베딩으로 사용할 때 발생하는 분포 불일치나, 보조 모델에 의존할 때 발생하는 정렬 문제로 인해 특징 붕괴와 불안정성을 겪는 경우가 많습니다. 이를 해결하기 위해 우리는 잠재 사고가 구성되고 배포되는 방식을 재정의하는 프레임워크인 잠재 사고 튜닝(Latent Thoughts Tuning, LT-Tuning)을 제안합니다. 우리의 방법은 원시 은닉 상태에만 의존하는 대신, 문맥적 은닉 상태와 어휘 임베딩 공간의 예측적 의미 지도를 공동으로 활용하는 Context-Prediction-Fusion 메커니즘을 도입합니다. 점진적인 3단계 커리큘럼 학습 파이프라인과 결합된 LT-Tuning은 잠재적 사고 모드와 명시적 사고 모드 간의 동적 전환도 가능하게 합니다. 실험 결과, 우리의 방법이 기존 잠재 추론 기준선을 능가하며 특징 붕괴를 효과적으로 완화하고 강건한 추론 정확도를 달성함을 입증합니다.

English

While explicit Chain-of-Thought (CoT) equips Large Language Models (LLMs) with strong reasoning capabilities, it requires models to verbalize every intermediate step in text tokens, constraining the model thoughts to the discrete vocabulary space. Recently, reasoning in continuous latent space has emerged as a promising alternative, enabling more robust inference and flexible computation beyond discrete token constraints. However, current latent paradigms often suffer from feature collapse and instability, stemming from distribution mismatches when recurrently using hidden states as the input embeddings, or alignment issues when relying on assistant models. To address this, we propose Latent Thoughts Tuning (LT-Tuning), a framework that redefines how latent thoughts are constructed and deployed. Instead of relying solely on raw hidden states, our method introduces a Context-Prediction-Fusion mechanism that jointly leveraging contextual hidden states and predictive semantic guidance from the vocabulary embedding space. Combined with a progressive three-stage curriculum learning pipeline, LT-Tuning also enables dynamically switching between latent and explicit thinking modes. Experiments demonstrate that our method outperforms existing latent reasoning baselines, effectively mitigating feature collapse and achieving robust reasoning accuracy.