Больше никаких устаревших отзывов: совместное развитие критиков для обучения агентов в открытом мире
No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning
January 11, 2026
Авторы: Zhicong Li, Lingjie Jiang, Yulan Hu, Xingchen Zeng, Yixia Li, Xiangwen Zhang, Guanhua Chen, Zheng Pan, Xin Li, Yong Liu
cs.AI
Аннотация
Критико-ориентированное обучение с подкреплением (RL) стало мощной парадигмой для тренировки агентов на основе больших языковых моделей (LLM), дополняя разреженные вознаграждения по исходу обратной связью на естественном языке. Однако современные методы часто полагаются на статические или офлайн-модели критика, которые не адаптируются по мере эволюции политики. В он-полиси RL паттерны ошибок агента со временем меняются, что приводит к устареванию стационарных критиков и снижению полезности их обратной связи. Для решения этой проблемы мы представляем ECHO (Evolving Critic for Hindsight-Guided Optimization) — фреймворк, который совместно оптимизирует политику и критика через синхронизированный коэволюционный цикл. ECHO использует каскадный механизм rollout, в котором критика генерирует множественные диагнозы для начальной траектории, после чего следует уточнение политики для обеспечения группового структурированного оценивания преимущества. Мы решаем проблему плато обучения с помощью целевой функции формирования выигрыша, учитывающей насыщение, которая вознаграждает критика за индуцирование постепенных улучшений в высокопроизводительных траекториях. Используя dual-track GRPO-обновления, ECHO гарантирует, что обратная связь критика остается синхронизированной с эволюционирующей политикой. Результаты экспериментов показывают, что ECHO обеспечивает более стабильное обучение и более высокий успех в решении задач с длинным горизонтом планирования в открытых мирах.
English
Critique-guided reinforcement learning (RL) has emerged as a powerful paradigm for training LLM agents by augmenting sparse outcome rewards with natural-language feedback. However, current methods often rely on static or offline critic models, which fail to adapt as the policy evolves. In on-policy RL, the agent's error patterns shift over time, causing stationary critics to become stale and providing feedback of diminishing utility. To address this, we introduce ECHO (Evolving Critic for Hindsight-Guided Optimization)}, a framework that jointly optimizes the policy and critic through a synchronized co-evolutionary loop. ECHO utilizes a cascaded rollout mechanism where the critic generates multiple diagnoses for an initial trajectory, followed by policy refinement to enable group-structured advantage estimation. We address the challenge of learning plateaus via a saturation-aware gain shaping objective, which rewards the critic for inducing incremental improvements in high-performing trajectories. By employing dual-track GRPO updates, ECHO ensures the critic's feedback stays synchronized with the evolving policy. Experimental results show that ECHO yields more stable training and higher long-horizon task success across open-world environments.