潜在推論モデルにおける並列テストタイムスケーリング

Parallel Test-Time Scaling for Latent Reasoning Models

October 9, 2025

著者: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

cs.AI

要旨

並列テストタイムスケーリング（TTS）は、大規模言語モデル（LLM）を強化するための重要なアプローチであり、通常、複数のトークンベースの連鎖思考（Chain-of-Thought）を並列にサンプリングし、投票や検索を通じて結果を集約します。最近の潜在推論（latent reasoning）の進展、つまり中間推論が連続ベクトル空間で展開される手法は、明示的な連鎖思考に比べてより効率的な代替手段を提供します。しかし、このような潜在モデルが並列TTSから同様に恩恵を受けられるかどうかは、主に連続空間でのサンプリングメカニズムの欠如と、高度な軌跡集約のための確率的信号の不足により、未解決のままでした。\ 本研究は、上記の問題に対処することで、潜在推論モデルにおける並列TTSを可能にします。サンプリングに関しては、モンテカルロドロップアウトと加法ガウスノイズという2つの不確実性に基づく確率的戦略を導入します。集約に関しては、ステップワイズなコントラスティブ目的で訓練された潜在報酬モデル（LatentRM）を設計し、潜在推論をスコア付けしてガイドします。広範な実験と可視化分析により、両方のサンプリング戦略が計算リソースとともに効果的にスケールし、異なる探索ダイナミクスを示すことが明らかになりました。一方、LatentRMは効果的な軌跡選択を可能にします。全体として、我々の探求は、連続空間におけるスケーラブルな推論の新たな方向性を開拓します。コードはhttps://github.com/YRYangang/LatentTTSで公開されています。

English

Parallel test-time scaling (TTS) is a pivotal approach for enhancing large language models (LLMs), typically by sampling multiple token-based chains-of-thought in parallel and aggregating outcomes through voting or search. Recent advances in latent reasoning, where intermediate reasoning unfolds in continuous vector spaces, offer a more efficient alternative to explicit Chain-of-Thought, yet whether such latent models can similarly benefit from parallel TTS remains open, mainly due to the absence of sampling mechanisms in continuous space, and the lack of probabilistic signals for advanced trajectory aggregation. \ This work enables parallel TTS for latent reasoning models by addressing the above issues. For sampling, we introduce two uncertainty-inspired stochastic strategies: Monte Carlo Dropout and Additive Gaussian Noise. For aggregation, we design a Latent Reward Model (LatentRM) trained with step-wise contrastive objective to score and guide latent reasoning. Extensive experiments and visualization analyses show that both sampling strategies scale effectively with compute and exhibit distinct exploration dynamics, while LatentRM enables effective trajectory selection. Together, our explorations open a new direction for scalable inference in continuous spaces. Code released at https://github.com/YRYangang/LatentTTS.