EvoPolicyGym: Avaliação da Evolução Autônoma de Políticas em Ambientes Interativos

Resumo

Espera-se cada vez mais que agentes autônomos melhorem políticas executáveis por meio de feedback, porém as avaliações existentes frequentemente reduzem esse processo a uma pontuação final ou o confundem com progresso indefinido de engenharia de software. Apresentamos a Evolução Autônoma de Políticas, um ambiente de avaliação controlado no qual um agente baseado em modelo de arnês edita repetidamente um sistema de políticas executáveis sob um orçamento fixo de interação. Concretizamos esse ambiente no EvoPolicyGym, um benchmark construído a partir de ambientes compactos de RL interativos que avalia como agentes melhoram iterativamente políticas exploradas. No conjunto EvoPolicyGym, o GPT-5.5 alcança a pontuação de classificação agregada mais forte e o desempenho entre os dois primeiros em todos os 16 ambientes. Além dos resultados de leaderboard, o EvoPolicyGym também fornece diagnósticos em nível de trajetória que distinguem como os agentes alocam orçamento, convertem feedback em ajuste paramétrico. Essas análises mostram que uma forte evolução autônoma de políticas depende não apenas de vitórias isoladas em tarefas, mas de descobrir mecanismos apropriados para a tarefa e refinar políticas sob feedback limitado.

English

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.