Finis les retours obsolètes : Co-évolution des critiques pour l'apprentissage d'agents en monde ouvert
No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning
January 11, 2026
papers.authors: Zhicong Li, Lingjie Jiang, Yulan Hu, Xingchen Zeng, Yixia Li, Xiangwen Zhang, Guanhua Chen, Zheng Pan, Xin Li, Yong Liu
cs.AI
papers.abstract
Le renforcement de l'apprentissage guidé par la critique (RL) est devenu un paradigme puissant pour entraîner des agents LLM en enrichissant les récompenses de résultat éparses par des retours en langage naturel. Cependant, les méthodes actuelles reposent souvent sur des modèles critiques statiques ou hors ligne, qui ne s'adaptent pas à l'évolution de la politique. Dans le RL sur la politique, les schémas d'erreur de l'agent évoluent au fil du temps, ce qui rend les critiques stationnaires obsolètes et réduit l'utilité de leurs retours. Pour résoudre ce problème, nous présentons ECHO (Evolving Critic for Hindsight-Guided Optimization), un cadre qui optimise conjointement la politique et le critique grâce à une boucle co-évolutive synchronisée. ECHO utilise un mécanisme de déploiement en cascade où le critique génère plusieurs diagnostics pour une trajectoire initiale, suivis d'un raffinement de la politique permettant une estimation d'avantage à structure de groupe. Nous abordons le défi des plateaux d'apprentissage via un objectif de mise en forme du gain sensible à la saturation, qui récompense le critique pour avoir induit des améliorations incrémentielles dans les trajectoires à haute performance. En employant des mises à jour GRPO à double voie, ECHO garantit que les retours du critique restent synchronisés avec la politique évolutive. Les résultats expérimentaux montrent qu'ECHO permet un entraînement plus stable et un meilleur succès dans les tâches à long terme à travers des environnements en monde ouvert.
English
Critique-guided reinforcement learning (RL) has emerged as a powerful paradigm for training LLM agents by augmenting sparse outcome rewards with natural-language feedback. However, current methods often rely on static or offline critic models, which fail to adapt as the policy evolves. In on-policy RL, the agent's error patterns shift over time, causing stationary critics to become stale and providing feedback of diminishing utility. To address this, we introduce ECHO (Evolving Critic for Hindsight-Guided Optimization)}, a framework that jointly optimizes the policy and critic through a synchronized co-evolutionary loop. ECHO utilizes a cascaded rollout mechanism where the critic generates multiple diagnoses for an initial trajectory, followed by policy refinement to enable group-structured advantage estimation. We address the challenge of learning plateaus via a saturation-aware gain shaping objective, which rewards the critic for inducing incremental improvements in high-performing trajectories. By employing dual-track GRPO updates, ECHO ensures the critic's feedback stays synchronized with the evolving policy. Experimental results show that ECHO yields more stable training and higher long-horizon task success across open-world environments.