Kein veraltetes Feedback mehr: Mitentwickelnde Kritiker für das Lernen von Agenten in offenen Welten
No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning
January 11, 2026
papers.authors: Zhicong Li, Lingjie Jiang, Yulan Hu, Xingchen Zeng, Yixia Li, Xiangwen Zhang, Guanhua Chen, Zheng Pan, Xin Li, Yong Liu
cs.AI
papers.abstract
Kritikgestütztes Reinforcement Learning (RL) hat sich als leistungsfähiges Paradigma für das Training von LLM-Agenten etabliert, indem es spärliche Ergebnisbelohnungen mit Feedback in natürlicher Sprache anreichert. Allerdings stützen sich aktuelle Methoden oft auf statische oder Offline-Kritiker-Modelle, die sich nicht anpassen, wenn sich die Policy weiterentwickelt. Im On-Policy-RL verändern sich die Fehlermuster des Agenten im Laufe der Zeit, was dazu führt, dass stationäre Kritiker veralten und Feedback mit abnehmendem Nutzen liefern. Um dieses Problem zu adressieren, stellen wir ECHO (Evolving Critic for Hindsight-Guided Optimization) vor, einen Rahmen, der die Policy und den Kritiker gemeinsam durch eine synchronisierte ko-evolutionäre Schleife optimiert. ECHO nutzt einen kaskadierten Rollout-Mechanismus, bei dem der Kritiker mehrere Diagnosen für eine initiale Trajektorie generiert, gefolgt von einer Policy-Verfeinerung zur Ermöglichung einer gruppenstrukturierten Vorteilsschätzung. Wir adressieren die Herausforderung von Lernplateaus durch ein sättigungsbewusstes Gain-Shaping-Ziel, das den Kritiker dafür belohnt, dass er inkrementelle Verbesserungen in hochperformanten Trajektorien induziert. Durch den Einsatz von Dual-Track-GRPO-Updates stellt ECHO sicher, dass das Feedback des Kritikers mit der sich entwickelnden Policy synchronisiert bleibt. Experimentelle Ergebnisse zeigen, dass ECHO stabileres Training und einen höheren Erfolg bei Aufgaben mit langem Planungshorizont in offenen Weltumgebungen erzielt.
English
Critique-guided reinforcement learning (RL) has emerged as a powerful paradigm for training LLM agents by augmenting sparse outcome rewards with natural-language feedback. However, current methods often rely on static or offline critic models, which fail to adapt as the policy evolves. In on-policy RL, the agent's error patterns shift over time, causing stationary critics to become stale and providing feedback of diminishing utility. To address this, we introduce ECHO (Evolving Critic for Hindsight-Guided Optimization)}, a framework that jointly optimizes the policy and critic through a synchronized co-evolutionary loop. ECHO utilizes a cascaded rollout mechanism where the critic generates multiple diagnoses for an initial trajectory, followed by policy refinement to enable group-structured advantage estimation. We address the challenge of learning plateaus via a saturation-aware gain shaping objective, which rewards the critic for inducing incremental improvements in high-performing trajectories. By employing dual-track GRPO updates, ECHO ensures the critic's feedback stays synchronized with the evolving policy. Experimental results show that ECHO yields more stable training and higher long-horizon task success across open-world environments.