CodeMidas: 코드 자체로부터 에이전트형 코딩 강화학습 환경 확장하기

초록

강화 학습(RL)을 통해 유능한 코딩 에이전트를 훈련하려면 신뢰할 수 있는 검증기를 갖춘 다양한 작업이 필요하다. 오픈소스 코드베이스는 이러한 작업의 풍부한 원천을 제공하지만, 기존 방법들은 일반적으로 이슈와 커밋 같은 개발 산출물에 의존하므로 추출할 수 있는 작업의 범위가 제한된다. RL 환경을 더 효과적으로 확장하기 위해, 우리는 기존 코드베이스의 구현된 기능을 소스 코드만을 작업별 입력으로 사용하여 실행 가능한 RL 환경으로 전환하는 에이전트 기반 파이프라인 CodeMidas를 제시한다. CodeMidas는 환경 구축의 모든 단계에 에이전트 연산을 할당한다: 에이전트는 구현된 기능을 탐색하여 동작 명세를 공식화하고, 원본 코드의 실행에 기반한 테스트를 구축하며, 실행 검사와 반복된 솔루션 롤아웃을 통해 후보 작업을 검증하고 필터링한다. 그 결과 데이터셋은 23개 프로그래밍 언어와 15개 기술 도메인에 걸친 3,185개 오픈소스 코드베이스에서 추출한 5,545개 훈련 작업을 포함한다. 이러한 작업으로 MiMo-V2.5를 GRPO로 훈련하면 이슈 수정(DeepSWE +11.7%), 전체 프로그램 구축(ProgramBench +17%), 터미널 작업(Terminal-Bench v2.1 +8.5%)을 포괄하는 다섯 가지 다양한 벤치마크 모두에서 성능이 향상된다. 절제 실험은 고품질 훈련 작업의 수를 늘리면 성능이 향상됨을 보여준다. 궤적 분석은 RL로 훈련된 에이전트가 코드베이스 탐색을 늘리고 자기 검증을 더 다양화하는 등 더 나은 행동을 보임을 보여준다. 이러한 결과는 소스 코드가 다양한 소프트웨어 작업 전반에서 코딩 에이전트를 개선하는 RL 환경을 구축하기 위한 확장 가능한 기반임을 확립한다.

English

Training capable coding agents via reinforcement learning (RL) requires diverse tasks with reliable verifiers. Open-source codebases offer a rich source of such tasks, while existing methods typically rely on development artifacts such as issues and commits, limiting the range of tasks that can be extracted. To better scale RL environments, we present CodeMidas, an agentic pipeline that turns implemented functionality in existing codebases into executable RL environments using source code as its only task-specific input. CodeMidas allocates agentic compute to every stage of environment construction: agents explore implemented functionality to formulate behavioral specifications, construct tests grounded in execution of the original code, and validate and filter candidate tasks through execution checks and repeated solution rollouts. The resulting dataset has 5,545 training tasks from 3,185 open-source codebases spanning 23 programming languages and 15 technical domains. Training MiMo-V2.5 on these tasks with GRPO improves performance on all five diverse benchmarks, covering issue repair (DeepSWE + 11.7%), whole-program construction (ProgramBench +17%), and terminal work (Terminal-Bench v2.1 +8.5%). Ablations show that increasing the number of high-quality training tasks improves performance. Trajectory analysis shows the RL-trained agent demonstrates better behaviors like increasing codebase exploration and more diverse self-verification. These results establish source code as a scalable foundation for constructing RL environments that improve coding agents across diverse software tasks.

CodeMidas: 코드 자체로부터 에이전트형 코딩 강화학습 환경 확장하기

CodeMidas: Scaling Agentic Coding RL Environments from Code Itself

초록

Support