터미널 에이전트를 위한 환경 진화

초록

대화형 및 검증 가능한 환경의 확장은 터미널 에이전트를 훈련하는 데 매우 중요하다. 프런티어 모델이 더욱 강력해짐에 따라, 처음부터 합성된 환경은 덜 도전적이게 되어 제한적인 학습 신호만 제공한다. 최근의 공진화(co-evolution) 방법들은 롤아웃 중 드러난 약점에 기반하여 모델의 학습 가능 경계 근처의 환경을 반복적으로 합성한다. 그러나 이들은 온폴리시 롤아웃에 의존하므로, 모델이 강해질수록 일반화와 지속적인 학습 신호 제공이 제한된다. 본 논문에서는 오프폴리시 방식으로 환경 난이도를 점진적으로 증가시키고, 훈련 중 진화된 환경을 세대별로 스케줄링하여 지속적인 학습 신호를 제공하는 환경 진화(environment evolution)를 제안한다. 우리는 멀티턴 학습 목표로부터 환경 난이도에 영향을 미치는 세 가지 진화 방향을 도출하고, 루프 구조의 멀티 에이전트 하네스를 통해 이러한 방향을 따라 진화를 구현한다. Hy4 preview, Claude Opus 5, GPT-5.6 Sol을 사용한 정량적 롤아웃 실험에서 환경 진화가 일관되게 더 어려운 환경을 생성함을 확인했다. 또한 간단한 장기 지평 RL 훈련을 통해 Qwen3.6-27B와 Qwen3.6-35B-A3B에 대한 효과를 검증하여, Terminal-Bench 2.1에서 각각 14.4퍼센트 포인트와 18.0퍼센트 포인트의 성능 향상을 달성했다.

English

Scaling interactive and verifiable environments is critical for training terminal agents. As frontier models become more capable, environments synthesized from scratch become less challenging and thus provide limited learning signals. Recent co-evolution methods iteratively synthesize environments near the model's learnable frontier based on weaknesses exposed during rollouts. However, their dependence on on-policy rollouts limits generalization and the continuous provision of learning signals as the model becomes stronger. In this paper, we propose environment evolution, which incrementally increases environment difficulty off-policy and schedules the evolved environments generation by generation during training to provide continuous learning signals. We derive three evolution directions that influence environment difficulty from the multi-turn learning objective and then implement evolution along these directions through a loop-engineered multi-agent harness. Quantitative rollout experiments with Hy4 preview, Claude Opus 5, and GPT-5.6 Sol show that environment evolution consistently produces more difficult environments. We validate its effectiveness on Qwen3.6-27B and Qwen3.6-35B-A3B through simple long-horizon RL training, improving their performance by 14.4 and 18.0 percentage points on Terminal-Bench 2.1, respectively.