SLPO: 代理方策による潜在推論のスケーリング

要旨

検証可能な報酬を用いた強化学習は、明示的なChain-of-Thought推論器においてテスト時スケーリングを引き出す主要な手法となっている。しかし、このスケーリング手法は計算コストが高く、すべての中間ステップを言語トークンとして復号化しなければならないからである。一方、潜在推論は中間計算を連続ベクトルとして保持し、はるかに短いホライゾンで明示的CoTに匹敵または凌駕している。この可能性にもかかわらず、潜在推論器は主に模倣学習に制限されている。一方、明示的CoTは結果報酬RLによって模倣を既に超えている。潜在軌跡は扱いやすいステップごとの尤度と、固定思考予算下での適応的停止インターフェースを欠いているため、結果報酬では潜在テスト時スケーリングを引き出せない。我々はSurrogate Latent Policy Optimization (SLPO)を導入し、結果報酬RLを自己回帰潜在推論器にもたらす。これは、軌跡レベルのクレジット割り当てのための潜在遷移上の経験的代理政策密度と、結果報酬最適化によって可変ホライゾン政策に洗練される正解監視停止ヘッドから成る。連続的およびソフト思考設定において、SLPOは並列サンプリング下でのPass@kを改善し、より難しいインスタンスにより長い潜在計算を割り当て、高い決定論的精度を実現する。

English

Reinforcement learning with verifiable rewards has become the predominant recipe for eliciting test-time scaling in explicit Chain-of-Thought reasoners. Yet this scaling path remains computationally costly, since every intermediate step must be decoded as a language token. Latent reasoning instead carries intermediate computation as continuous vectors and already matches or surpasses explicit CoT at far shorter horizons. Despite this promise, latent reasoners remain largely imitation-bound, while explicit CoT has already moved past imitation via outcome-reward RL. Latent trajectories lack a tractable per-step likelihood and an adaptive stopping interface under fixed thinking budgets, so outcome rewards cannot elicit latent test-time scaling. We introduce Surrogate Latent Policy Optimization (SLPO) to bring outcome-reward RL to autoregressive latent reasoners: an empirical surrogate policy density over latent transitions for trajectory-level credit assignment, and a correctness-supervised stopping head that outcome-reward optimization refines into a variable-horizon policy. Across continuous and soft thinking settings, SLPO improves Pass@k under parallel sampling and allocates longer latent computation to harder instances with higher deterministic accuracy.