RetroAgent: От решения к эволюции через ретроспективную двойную внутреннюю обратную связь

RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback

March 9, 2026

Авторы: Xiaoying Zhang, Zichen Liu, Yipeng Zhang, Xia Hu, Wenqi Shao

cs.AI

Аннотация

Агенты на основе больших языковых моделей (LLM), обученные с помощью обучения с подкреплением (RL), продемонстрировали значительный потенциал в решении сложных интерактивных задач. Однако стандартные парадигмы RL отдают предпочтение статическому решению проблем в ущерб непрерывной адаптации: агенты часто сходятся к субоптимальным стратегиям из-за недостаточного исследования, а полученные знания остаются неявными внутри параметров, а не явно извлекаемыми, что ограничивает эффективное обучение на опыте. Чтобы устранить эти ограничения, мы представляем RetroAgent — онлайн-фреймворк RL, который позволяет агентам осваивать сложные интерактивные среды не просто решая задачи, а эволюционируя. Конкретно, RetroAgent включает механизм ретроспективного самоанализа, который генерирует двойную внутреннюю обратную связь: (1) внутреннюю числовую обратную связь, отслеживающую поэтапное выполнение подзадач относительно предыдущих попыток и поощряющую перспективные исследования, и (2) внутреннюю языковую обратную связь, которая извлекает переиспользуемые уроки в буфер памяти, извлекаемый с помощью нашей стратегии Similarity & Utility-Aware Upper Confidence Bound (SimUtil-UCB), балансирующей релевантность, полезность и исследование для эффективного использования прошлого опыта. Многочисленные эксперименты на двух семействах моделей в рамках четырех сложных агентных задач показывают, что RetroAgent значительно превосходит существующие методы, достигая наилучших результатов — например, превосходя агентов, обученных с помощью Group Relative Policy Optimization (GRPO), на +18,3% в ALFWorld, +15,4% в WebShop, +27,1% в Sokoban и +8,9% в MineSweeper — при этом демонстрируя сильную адаптацию во время тестирования и обобщаемость на сценарии с выходом за пределы распределения данных.

English

Large language model (LLM)-based agents trained with reinforcement learning (RL) have shown strong potential on complex interactive tasks. However, standard RL paradigms favor static problem-solving over continuous adaptation: agents often converge to suboptimal strategies due to insufficient exploration, while learned knowledge remains implicit within parameters rather than explicitly retrievable, limiting effective experiential learning. To address these limitations, we introduce RetroAgent, an online RL framework that empowers agents to master complex interactive environments not just by solving, but by evolving. Concretely, RetroAgent features a hindsight self-reflection mechanism that produces dual intrinsic feedback: (1) intrinsic numerical feedback that that tracks incremental subtask completion relative to prior attempts, rewarding promising explorations, and (2) intrinsic language feedback that distills reusable lessons into a memory buffer, retrieved via our proposed Similarity & Utility-Aware Upper Confidence Bound (SimUtil-UCB) strategy balancing relevance, utility, and exploration to effectively leverage past experiences. Extensive experiments on two model families across four challenging agentic tasks demonstrate that RetroAgent significantly outperforms existing methods, achieving state-of-the-art results -- e.g., surpassing Group Relative Policy Optimization (GRPO)-trained agents by +18.3% on ALFWorld, +15.4% on WebShop, +27.1% on Sokoban, and +8.9% on MineSweeper -- while exhibiting strong test-time adaptation and generalization to out-of-distribution scenarios.