Control-R: 制御可能なテスト時スケーリングに向けて

要旨

本論文は、大規模推論モデル（LRM）における長い連鎖思考（CoT）推論における「思考不足」と「過剰思考」の課題に取り組むため、構造化された制御信号を注入して木探索の観点から推論を導く新しいテスト時アプローチであるReasoning Control Fields（RCF）を提案する。RCFは、複雑な課題を解決する際に、与えられた制御条件に応じて推論努力を調整することを可能にする。さらに、詳細な推論プロセスと対応する制御フィールドを注釈付けた挑戦的な問題からなるControl-R-4Kデータセットを提示する。推論制御をさらに強化するため、テスト時に推論努力を効果的に調整するようモデル（特にControl-R-32B）を訓練するConditional Distillation Finetuning（CDF）手法を提案する。AIME2024やMATH500などのベンチマークにおける実験結果は、32Bスケールで最先端の性能を達成しつつ、制御可能な長い連鎖思考推論プロセス（L-CoT）を実現することを示している。全体として、本論文は制御可能なテスト時スケーリング推論のための効果的なパラダイムを導入するものである。

English

This paper target in addressing the challenges of underthinking and overthinking in long chain-of-thought (CoT) reasoning for Large Reasoning Models (LRMs) by introducing Reasoning Control Fields (RCF)--a novel test-time approach that injects structured control signals to guide reasoning from a tree search perspective. RCF enables models to adjust reasoning effort according to given control conditions when solving complex tasks. Additionally, we present the Control-R-4K dataset, which consists of challenging problems annotated with detailed reasoning processes and corresponding control fields. To further enhance reasoning control, we propose a Conditional Distillation Finetuning (CDF) method, which trains model--particularly Control-R-32B--to effectively adjust reasoning effort during test time. Experimental results on benchmarks such as AIME2024 and MATH500 demonstrate that our approach achieves state-of-the-art performance at the 32B scale while enabling a controllable Long CoT reasoning process (L-CoT). Overall, this work introduces an effective paradigm for controllable test-time scaling reasoning.

Control-R: 制御可能なテスト時スケーリングに向けて

Control-R: Towards controllable test-time scaling

要旨

Support