スケーラブルな連鎖思考による弾力的推論

Scalable Chain of Thoughts via Elastic Reasoning

May 8, 2025

著者: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

cs.AI

要旨

大規模推論モデル（LRM）は、長い連鎖的思考（CoT）を生成することで複雑なタスクにおいて顕著な進歩を遂げてきた。しかし、その制御されない出力長は、トークン数、レイテンシ、計算リソースが厳密に制約される現実世界の展開において重大な課題を引き起こす。本論文では、スケーラブルな連鎖的思考のための新しいフレームワークであるElastic Reasoningを提案する。このフレームワークは、推論を「思考」と「解決」の2つのフェーズに明示的に分離し、それぞれに独立した予算を割り当てる。テスト時には、Elastic Reasoningは解決セグメントの完全性を優先し、厳しいリソース制約下での信頼性を大幅に向上させる。思考が途中で打ち切られた場合に適応的に推論する能力をモデルに教えるため、GRPOに統合された軽量な予算制約付きロールアウト戦略を導入し、追加のトレーニングなしで未見の予算制約に効果的に一般化する。数学（AIME、MATH500）およびプログラミング（LiveCodeBench、Codeforces）のベンチマークにおける実験結果は、Elastic Reasoningが厳格な予算制約下でも堅牢に動作し、ベースライン手法よりも大幅に低いトレーニングコストで済むことを示している。注目すべきは、本アプローチが制約のない設定においても、より簡潔で効率的な推論を生成することである。Elastic Reasoningは、大規模な制御可能な推論という喫緊の課題に対する原理的かつ実用的な解決策を提供する。

English

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.