端末エージェントのための環境進化

要旨

インタラクティブかつ検証可能な環境のスケーリングは、ターミナルエージェントの訓練にとって極めて重要である。フロンティアモデルが高性能化するにつれ、ゼロから合成された環境は挑戦的でなくなり、学習シグナルが限定的になる。近年の共進化手法は、ロールアウト中に顕在化した弱点に基づき、モデルの学習可能なフロンティア近傍の環境を反復的に合成する。しかし、これらの手法はオン方策ロールアウトに依存するため、モデルが強くなるにつれて汎化と学習シグナルの継続的な提供が制限される。本論文では、環境進化を提案する。これは、オフ方策で環境の難易度を段階的に高め、訓練中に進化した環境を世代ごとにスケジュールすることで、継続的な学習シグナルを提供する。我々は、マルチターン学習目的から環境難易度に影響を与える3つの進化方向を導出し、ループを組み込んだマルチエージェントハーネスを通じてこれらの方向に沿った進化を実装する。Hy4 preview、Claude Opus 5、GPT-5.6 Solを用いた定量的ロールアウト実験は、環境進化が一貫してより困難な環境を生成することを示す。また、Qwen3.6-27BおよびQwen3.6-35B-A3Bに対して、簡素なロングホライズンRL訓練を通じてその有効性を検証し、Terminal-Bench 2.1における性能をそれぞれ14.4パーセントポイントおよび18.0パーセントポイント向上させた。

English

Scaling interactive and verifiable environments is critical for training terminal agents. As frontier models become more capable, environments synthesized from scratch become less challenging and thus provide limited learning signals. Recent co-evolution methods iteratively synthesize environments near the model's learnable frontier based on weaknesses exposed during rollouts. However, their dependence on on-policy rollouts limits generalization and the continuous provision of learning signals as the model becomes stronger. In this paper, we propose environment evolution, which incrementally increases environment difficulty off-policy and schedules the evolved environments generation by generation during training to provide continuous learning signals. We derive three evolution directions that influence environment difficulty from the multi-turn learning objective and then implement evolution along these directions through a loop-engineered multi-agent harness. Quantitative rollout experiments with Hy4 preview, Claude Opus 5, and GPT-5.6 Sol show that environment evolution consistently produces more difficult environments. We validate its effectiveness on Qwen3.6-27B and Qwen3.6-35B-A3B through simple long-horizon RL training, improving their performance by 14.4 and 18.0 percentage points on Terminal-Bench 2.1, respectively.