Niente più feedback obsoleti: Co-evoluzione di critici per l'apprendimento di agenti in mondi aperti
No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning
January 11, 2026
Autori: Zhicong Li, Lingjie Jiang, Yulan Hu, Xingchen Zeng, Yixia Li, Xiangwen Zhang, Guanhua Chen, Zheng Pan, Xin Li, Yong Liu
cs.AI
Abstract
Il reinforcement learning (RL) guidato da critiche è emerso come un potente paradigma per addestrare agenti basati su LLM, integrando le ricompense sparse basate sul risultato con feedback in linguaggio naturale. Tuttavia, i metodi attuali si basano spesso su modelli critici statici o offline, che non riescono ad adattarsi al progredire della politica. Nel RL on-policy, gli schemi di errore dell'agente cambiano nel tempo, causando l'obsolescenza dei critici stazionari e fornendo un feedback di utilità decrescente. Per affrontare questo problema, introduciamo ECHO (Evolving Critic for Hindsight-Guided Optimization), un framework che ottimizza congiuntamente la politica e il critico attraverso un ciclo co-evolutivo sincronizzato. ECHO utilizza un meccanismo di rollout a cascata in cui il critico genera multiple diagnosi per una traiettoria iniziale, seguito da un affinamento della politica per abilitare una stima del vantaggio a struttura di gruppo. Affrontiamo la sfida degli altipiani di apprendimento tramite un obiettivo di modellazione del guadagno consapevole della saturazione, che ricompensa il critico per aver indotto miglioramenti incrementali in traiettorie ad alte prestazioni. Impiegando aggiornamenti GRPO a doppio binario, ECHO garantisce che il feedback del critico rimanga sincronizzato con l'evolvere della politica. I risultati sperimentali mostrano che ECHO produce un addestramento più stabile e un maggior successo in compiti a lungo termine attraverso ambienti open-world.
English
Critique-guided reinforcement learning (RL) has emerged as a powerful paradigm for training LLM agents by augmenting sparse outcome rewards with natural-language feedback. However, current methods often rely on static or offline critic models, which fail to adapt as the policy evolves. In on-policy RL, the agent's error patterns shift over time, causing stationary critics to become stale and providing feedback of diminishing utility. To address this, we introduce ECHO (Evolving Critic for Hindsight-Guided Optimization)}, a framework that jointly optimizes the policy and critic through a synchronized co-evolutionary loop. ECHO utilizes a cascaded rollout mechanism where the critic generates multiple diagnoses for an initial trajectory, followed by policy refinement to enable group-structured advantage estimation. We address the challenge of learning plateaus via a saturation-aware gain shaping objective, which rewards the critic for inducing incremental improvements in high-performing trajectories. By employing dual-track GRPO updates, ECHO ensures the critic's feedback stays synchronized with the evolving policy. Experimental results show that ECHO yields more stable training and higher long-horizon task success across open-world environments.