CodeMidas：コード自体からエージェント的コーディングRL環境をスケーリングする

CodeMidas: Scaling Agentic Coding RL Environments from Code Itself

September 18, 2026

著者: Bowen Ye, Lei Li, Shicheng Li, Zihao Yue, Linghao Zhang, Hanglong Lv, Yuanxin Liu, Wenhan Ma, Hao Tian, Rang Li, Jinhao Dong, Yikai Zhao, Xiangwei Deng, Hailin Zhang, Liang Zhao, Qi Liu, Lingpeng Kong, Tong Yang, Fuli Luo

cs.AI

要旨

高性能なコーディングエージェントを強化学習（RL）で訓練するには、信頼できる検証器を備えた多様なタスクが必要である。オープンソースのコードベースはそのようなタスクの豊富な供給源を提供するが、既存手法は通常、イシューやコミットなどの開発成果物に依存しており、抽出できるタスクの範囲を制限している。RL環境をよりよくスケールさせるため、我々はCodeMidasを提案する。これは、既存のコードベースに実装済みの機能を、ソースコードのみをタスク固有の入力として、実行可能なRL環境に変換するエージェント型パイプラインである。CodeMidasは、環境構築のあらゆる段階にエージェント的計算資源を割り当てる。すなわち、エージェントが実装済み機能を探索して振る舞い仕様を策定し、元のコードの実行に基づくテストを構築し、実行チェックと繰り返しの解答ロールアウトを通じて候補タスクを検証・フィルタリングする。その結果得られるデータセットは、23のプログラミング言語と15の技術領域にまたがる3,185のオープンソースコードベースからの5,545の学習タスクを有する。これらのタスクでGRPOを用いてMiMo-V2.5を訓練すると、イシュー修復（DeepSWE +11.7%）、プログラム全体の構築（ProgramBench +17%）、ターミナル作業（Terminal-Bench v2.1 +8.5%）を含む5つの多様なベンチマークすべてで性能が向上する。アブレーション実験は、高品質な学習タスクの数を増やすと性能が向上することを示す。トラジェクトリ分析は、RLで訓練されたエージェントが、コードベース探索の増加やより多様な自己検証といった、より優れた行動を示すことを示している。これらの結果は、多様なソフトウェアタスクにわたってコーディングエージェントを改善するRL環境を構築するための、スケーラブルな基盤としてソースコードを確立する。

English

Training capable coding agents via reinforcement learning (RL) requires diverse tasks with reliable verifiers. Open-source codebases offer a rich source of such tasks, while existing methods typically rely on development artifacts such as issues and commits, limiting the range of tasks that can be extracted. To better scale RL environments, we present CodeMidas, an agentic pipeline that turns implemented functionality in existing codebases into executable RL environments using source code as its only task-specific input. CodeMidas allocates agentic compute to every stage of environment construction: agents explore implemented functionality to formulate behavioral specifications, construct tests grounded in execution of the original code, and validate and filter candidate tasks through execution checks and repeated solution rollouts. The resulting dataset has 5,545 training tasks from 3,185 open-source codebases spanning 23 programming languages and 15 technical domains. Training MiMo-V2.5 on these tasks with GRPO improves performance on all five diverse benchmarks, covering issue repair (DeepSWE + 11.7%), whole-program construction (ProgramBench +17%), and terminal work (Terminal-Bench v2.1 +8.5%). Ablations show that increasing the number of high-quality training tasks improves performance. Trajectory analysis shows the RL-trained agent demonstrates better behaviors like increasing codebase exploration and more diverse self-verification. These results establish source code as a scalable foundation for constructing RL environments that improve coding agents across diverse software tasks.