Chega de Feedback Obsoleto: Co-Evolução de Críticos para Aprendizado de Agentes em Mundos Abertos
No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning
January 11, 2026
Autores: Zhicong Li, Lingjie Jiang, Yulan Hu, Xingchen Zeng, Yixia Li, Xiangwen Zhang, Guanhua Chen, Zheng Pan, Xin Li, Yong Liu
cs.AI
Resumo
A aprendizagem por reforço (RL) guiada por crítica emergiu como um paradigma poderoso para treinar agentes de LLM, aumentando as recompensas esparsas de resultado com *feedback* em linguagem natural. No entanto, os métodos atuais frequentemente dependem de modelos críticos estáticos ou *offline*, que falham em se adaptar à medida que a política evolui. Na RL *on-policy*, os padrões de erro do agente mudam ao longo do tempo, fazendo com que os críticos estacionários se tornem desatualizados e forneçam um *feedback* de utilidade decrescente. Para resolver isso, introduzimos o ECHO (*Evolving Critic for Hindsight-Guided Optimization*), uma estrutura que otimiza conjuntamente a política e o crítico através de um ciclo coevolutivo sincronizado. O ECHO utiliza um mecanismo de *rollout* em cascata, onde o crítico gera múltiplos diagnósticos para uma trajetória inicial, seguido de um refinamento da política para permitir uma estimativa de vantagem com estrutura de grupo. Abordamos o desafio dos platôs de aprendizagem através de um objetivo de modelagem de ganho sensível à saturação, que recompensa o crítico por induzir melhorias incrementais em trajetórias de alto desempenho. Ao empregar atualizações GRPO de dupla via, o ECHO garante que o *feedback* do crítico permaneça sincronizado com a política em evolução. Resultados experimentais mostram que o ECHO produz um treinamento mais estável e um maior sucesso em tarefas de longo horizonte em ambientes de mundo aberto.
English
Critique-guided reinforcement learning (RL) has emerged as a powerful paradigm for training LLM agents by augmenting sparse outcome rewards with natural-language feedback. However, current methods often rely on static or offline critic models, which fail to adapt as the policy evolves. In on-policy RL, the agent's error patterns shift over time, causing stationary critics to become stale and providing feedback of diminishing utility. To address this, we introduce ECHO (Evolving Critic for Hindsight-Guided Optimization)}, a framework that jointly optimizes the policy and critic through a synchronized co-evolutionary loop. ECHO utilizes a cascaded rollout mechanism where the critic generates multiple diagnoses for an initial trajectory, followed by policy refinement to enable group-structured advantage estimation. We address the challenge of learning plateaus via a saturation-aware gain shaping objective, which rewards the critic for inducing incremental improvements in high-performing trajectories. By employing dual-track GRPO updates, ECHO ensures the critic's feedback stays synchronized with the evolving policy. Experimental results show that ECHO yields more stable training and higher long-horizon task success across open-world environments.