EvoPolicyGym: 상호작용 환경에서 자율 정책 진화 평가

초록

자율 에이전트가 피드백을 통해 실행 가능한 정책을 개선할 것으로 점점 더 기대되지만, 기존 평가는 종종 이 과정을 최종 점수로 축소하거나 개방형 소프트웨어 엔지니어링 진행과 혼동합니다. 우리는 자율 정책 진화(Autonomous Policy Evolution)를 도입합니다. 이는 통제된 평가 환경으로, 하네스 모델 에이전트가 고정된 상호작용 예산 하에서 실행 가능한 정책 시스템을 반복적으로 수정합니다. 우리는 이 환경을 EvoPolicyGym에 구현했습니다. 이는 소형 대화형 강화학습 환경으로 구축된 벤치마크로, 에이전트가 반복적으로 탐색된 정책을 개선하는 방식을 평가합니다. EvoPolicyGym 스위트에서 GPT-5.5는 가장 강력한 종합 순위 점수를 달성했으며, 16개 환경 모두에서 상위 두 성능을 기록했습니다. 리더보드 결과 외에도 EvoPolicyGym은 에이전트가 예산을 할당하고 피드백을 매개변수 조정으로 변환하는 방식을 구분하는 궤적 수준의 진단을 제공합니다. 이러한 분석은 강력한 자율 정책 진화가 단순한 개별 과제 승리에 의존하는 것이 아니라, 과제에 적합한 메커니즘을 발견하고 제한된 피드백 하에서 정책을 정제하는 데 달려 있음을 보여줍니다.

English

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.