EvoPolicyGym: Bewertung autonomer Politikevolution in interaktiven Umgebungen

Zusammenfassung

Autonome Agenten sind zunehmend dazu aufgefordert, ausführbare Richtlinien durch Rückmeldung zu verbessern, doch bestehende Evaluierungen reduzieren diesen Prozess oft auf eine Endpunktzahl oder vermengen ihn mit offenen Fortschritten in der Softwaretechnik. Wir führen die *Autonome Policy-Evolution* ein, ein kontrolliertes Evaluierungsszenario, in dem ein Harness-Modell-Agent wiederholt ein ausführbares Richtliniensystem unter einem festgelegten Interaktionsbudget bearbeitet. Dieses Szenario setzen wir in *EvoPolicyGym* um, einem Benchmark, der aus kompakten interaktiven RL-Umgebungen besteht und bewertet, wie Agenten explorierte Richtlinien iterativ verbessern. Auf der *EvoPolicyGym*-Suite erzielt GPT-5.5 die stärkste aggregierte Rangpunktzahl und die zwei besten Leistungen in allen 16 Umgebungen. Über die Ranglistenergebnisse hinaus bietet *EvoPolicyGym* auch Diagnosen auf Trajektorienebene, die unterscheiden, wie Agenten ihr Budget zuweisen und Rückmeldung in parametrische Abstimmung umsetzen. Diese Analysen zeigen, dass eine starke autonome Policy-Evolution nicht nur von isolierten Aufgaben Siegen abhängt, sondern auch vom Auffinden aufgabenangemessener Mechanismen und der Verfeinerung von Richtlinien unter begrenzter Rückmeldung.

English

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.