EvoPolicyGym：インタラクティブ環境における自律的ポリシー進化の評価

要旨

自律型エージェントは、フィードバックを通じて実行可能なポリシーを改善することがますます期待されている。しかし、既存の評価手法では、このプロセスを単一の最終スコアに集約したり、オープンエンドなソフトウェアエンジニアリングの進捗と混同してしまうことが多い。本研究では、統制された評価環境として自律型政策進化を導入する。これは、ハーネスモデルエージェントが固定された相互作用予算の下で、実行可能なポリシーシステムを反復的に編集する設定である。この設定を具現化したベンチマークとしてEvoPolicyGymを構築した。これは、コンパクトな対話型強化学習環境から構成され、エージェントが探索したポリシーを反復的に改善する方法を評価するものである。EvoPolicyGymスイートにおいて、GPT-5.5は総合ランクスコアで最強を示し、全16環境でトップ2の性能を達成した。リーダーボードの結果に加えて、EvoPolicyGymは軌跡レベルの診断情報も提供し、エージェントが予算をどのように配分し、フィードバックをパラメトリックチューニングに変換するかを識別する。これらの分析は、強力な自律型政策進化が単発的なタスクの勝利に依存するだけでなく、タスクに適したメカニズムを発見し、限られたフィードバックの下でポリシーを洗練することに依存することを示している。

English

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.