痕跡をたどる：効率的かつ正確な推論のための潜在的時間信号

Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning

October 12, 2025

著者: Martina G. Vilas, Safoora Yousefi, Besmira Nushi, Eric Horvitz, Vidhisha Balachandran

cs.AI

要旨

推論モデルは、推論時のスケーリングを通じて問題解決能力を向上させ、より長いトークン予算を割り当てることで計算リソースを増やします。どの推論トレースが成功しそうかを特定することは、依然として重要な機会です：生産的なパスを確実に予測することで、無駄な計算を大幅に削減し、全体の効率を向上させることができます。本論文では、中間推論トークンの生成中にモデルの内部表現の時間的進化を特徴づける「潜在軌跡（Latent-Trajectory）信号」を導入します。推論の開始時と終了時の潜在表現の全体的な変化、中間ステップで蓄積された変化、およびこれらの変化が最終状態に向かって進む程度を測定することで、これらの信号が、層間メトリクスや出力ベースの信頼度指標よりも、解の精度をより確実に予測することを示します。複数のサンプル生成にわたる回答選択を導くために使用すると、潜在軌跡信号は、多数決よりもテスト時のスケーリングをより効果的かつ効率的にし、トークン使用量を最大70％削減しながら、平均2.6％の精度向上を実現します。さらに、これらの予測信号はしばしば推論トレースの早期に現れ、最も有望な候補への早期選択と計算リソースの割り当てを可能にします。我々の知見は、推論時の効率化のための実践的な戦略だけでなく、推論プロセスが潜在空間でどのように表現され区別されるかについての深い解釈可能性の視点も提供します。

English

Reasoning models improve their problem-solving ability through inference-time scaling, allocating more compute via longer token budgets. Identifying which reasoning traces are likely to succeed remains a key opportunity: reliably predicting productive paths can substantially reduce wasted computation and improve overall efficiency. We introduce Latent-Trajectory signals that characterize the temporal evolution of a model's internal representations during the generation of intermediate reasoning tokens. By measuring the overall change in latent representations between the start and end of reasoning, the change accumulated across intermediate steps, and the extent to which these changes advance toward the final state, we show that these signals predict solution accuracy more reliably than both cross-layer metrics and output-based confidence measures. When used to guide answer selection across multiple sampled generations, Latent-Trajectory signals make test-time scaling more effective and efficient than majority voting, reducing token usage by up to 70% while preserving and even improving accuracy by 2.6% on average. Moreover, these predictive signals often emerge early in the reasoning trace, enabling early selection and allocation of compute to the most promising candidates. Our findings contribute not only practical strategies for inference-time efficiency, but also a deeper interpretability perspective on how reasoning processes are represented and differentiated in latent space.