Geen Verouderde Feedback Meer: Co-Evoluerende Critici voor Open-Wereld Agent Leren
No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning
January 11, 2026
Auteurs: Zhicong Li, Lingjie Jiang, Yulan Hu, Xingchen Zeng, Yixia Li, Xiangwen Zhang, Guanhua Chen, Zheng Pan, Xin Li, Yong Liu
cs.AI
Samenvatting
Kritiek-gestuurd reinforcement learning (RL) is naar voren gekomen als een krachtig paradigma voor het trainen van LLM-agenten door schaarse beloningen op basis van uitkomsten aan te vullen met feedback in natuurlijke taal. Huidige methoden vertrouwen echter vaak op statische of offline criticusmodellen, die niet meeveranderen naarmate het beleid evolueert. Bij on-policy RL verschuiven de foutpatronen van de agent in de tijd, waardoor stationaire critics verouderd raken en feedback met afnemende bruikbaarheid leveren. Om dit aan te pakken, introduceren we ECHO (Evolving Critic for Hindsight-Guided Optimization), een raamwerk dat het beleid en de criticus gezamenlijk optimaliseert via een gesynchroniseerde co-evolutionaire lus. ECHO maakt gebruik van een gecascadeerd roll-outmechanisme waarbij de criticus meerdere diagnoses genereert voor een initiële traject, gevolgd door beleidsverfijning om groepsgestructureerde voordeelschatting mogelijk te maken. We pakken de uitdaging van leerplateaus aan via een saturatiebewust winstvormingsdoel, dat de criticus beloont voor het induceren van incrementele verbeteringen in hoogpresterende trajecten. Door gebruik te maken van dual-track GRPO-updates, zorgt ECHO ervoor dat de feedback van de criticus gesynchroniseerd blijft met het evoluerende beleid. Experimentele resultaten tonen aan dat ECHO tot stabielere training en een hoger succespercentage bij taken met een lange tijds-horizon leidt in open-wereldomgevingen.
English
Critique-guided reinforcement learning (RL) has emerged as a powerful paradigm for training LLM agents by augmenting sparse outcome rewards with natural-language feedback. However, current methods often rely on static or offline critic models, which fail to adapt as the policy evolves. In on-policy RL, the agent's error patterns shift over time, causing stationary critics to become stale and providing feedback of diminishing utility. To address this, we introduce ECHO (Evolving Critic for Hindsight-Guided Optimization)}, a framework that jointly optimizes the policy and critic through a synchronized co-evolutionary loop. ECHO utilizes a cascaded rollout mechanism where the critic generates multiple diagnoses for an initial trajectory, followed by policy refinement to enable group-structured advantage estimation. We address the challenge of learning plateaus via a saturation-aware gain shaping objective, which rewards the critic for inducing incremental improvements in high-performing trajectories. By employing dual-track GRPO updates, ECHO ensures the critic's feedback stays synchronized with the evolving policy. Experimental results show that ECHO yields more stable training and higher long-horizon task success across open-world environments.