EvoPolicyGym: Оценка автономной эволюции политик в интерактивных средах

Аннотация

Автономные агенты всё чаще должны совершенствовать исполняемые политики на основе обратной связи, однако существующие методы оценки зачастую сводят этот процесс к итоговому баллу или смешивают его с прогрессом в открытых программно-инженерных задачах. Мы вводим понятие автономной эволюции политик — контролируемую среду оценки, в которой агент на основе модели-обвязки многократно редактирует систему исполняемых политик в рамках фиксированного бюджета взаимодействий. Мы реализуем эту среду в бенчмарке EvoPolicyGym, построенном на компактных интерактивных средах обучения с подкреплением, который оценивает, как агенты итеративно улучшают исследуемые политики. На наборе задач EvoPolicyGym модель GPT-5.5 достигает наивысшего совокупного рейтингового балла и попадает в топ-2 по всем 16 средам. Помимо результатов лидерборда, EvoPolicyGym предоставляет диагностику на уровне траекторий, позволяющую различить, как агенты распределяют бюджет и преобразуют обратную связь в параметрическую настройку. Данный анализ показывает, что успешная автономная эволюция политик зависит не только от изолированных побед в задачах, но и от обнаружения соответствующих задаче механизмов и уточнения политик в условиях ограниченной обратной связи.

English

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.