EvoPolicyGym: Evaluación de la Evolución Autónoma de Políticas en Entornos Interactivos

Resumen

Se espera cada vez más que los agentes autónomos mejoren las políticas ejecutables mediante retroalimentación, sin embargo, las evaluaciones existentes a menudo reducen este proceso a una puntuación final o lo confunden con el progreso de la ingeniería de software de código abierto. Introducimos la Evolución Autónoma de Políticas, un entorno de evaluación controlado en el que un agente modelo-armés edita repetidamente un sistema de política ejecutable bajo un presupuesto de interacción fijo. Implementamos este entorno en EvoPolicyGym, un banco de pruebas construido a partir de entornos compactos interactivos de RL que evalúa cómo los agentes mejoran iterativamente las políticas exploradas. En el conjunto de EvoPolicyGym, GPT-5.5 alcanza la puntuación de rango agregado más fuerte y un rendimiento entre los dos primeros en los 16 entornos. Más allá de los resultados en tablas de clasificación, EvoPolicyGym también proporciona diagnósticos a nivel de trayectoria que distinguen cómo los agentes asignan el presupuesto y convierten la retroalimentación en ajuste paramétrico. Estos análisis muestran que una evolución autónoma de políticas sólida depende no solo de victorias en tareas aisladas, sino de descubrir mecanismos apropiados para la tarea y refinar políticas bajo retroalimentación limitada.

English

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.