EvoPolicyGym : Évaluation de l'évolution autonome de politiques dans des environnements interactifs

Résumé

Les agents autonomes sont de plus en plus censés améliorer leurs politiques exécutables par le biais de retours d'information, mais les évaluations existantes réduisent souvent ce processus à un score final ou le confondent avec les progrès de l'ingénierie logicielle en environnement ouvert. Nous introduisons l'Évolution Autonome de Politiques, un cadre d'évaluation contrôlé dans lequel un agent modèle de harnais modifie de manière répétée un système de politiques exécutables sous un budget d'interaction fixe. Nous concrétisons ce cadre dans EvoPolicyGym, un banc d'essai construit à partir d'environnements RL interactifs compacts qui évalue comment les agents améliorent itérativement les politiques explorées. Sur la suite EvoPolicyGym, GPT-5.5 obtient le meilleur score de classement agrégé et une performance parmi les deux premières sur les 16 environnements. Au-delà des résultats de classement, EvoPolicyGym fournit également des diagnostics au niveau des trajectoires qui distinguent la manière dont les agents allouent le budget, convertissent les retours en réglage paramétrique. Ces analyses montrent qu'une forte évolution autonome des politiques dépend non seulement de victoires isolées sur des tâches, mais aussi de la découverte de mécanismes adaptés aux tâches et du raffinement des politiques sous un retour d'information limité.

English

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.