RetroAgent: Da Resolução à Evolução via Retrospetiva de Feedback Intrínseco Dual

RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback

March 9, 2026

Autores: Xiaoying Zhang, Zichen Liu, Yipeng Zhang, Xia Hu, Wenqi Shao

cs.AI

Resumo

Agentes baseados em grandes modelos de linguagem (LLM) treinados com aprendizado por reforço (RL) demonstraram forte potencial em tarefas interativas complexas. No entanto, os paradigmas padrão de RL favorecem a resolução estática de problemas em detrimento da adaptação contínua: os agentes frequentemente convergem para estratégias subótimas devido à exploração insuficiente, enquanto o conhecimento aprendido permanece implícito nos parâmetros em vez de ser explicitamente recuperável, limitando a aprendizagem experiencial eficaz. Para enfrentar essas limitações, apresentamos o RetroAgent, um framework de RL online que capacita os agentes a dominar ambientes interativos complexos não apenas resolvendo, mas evoluindo. Concretamente, o RetroAgent apresenta um mecanismo de autorreflexão retrospectiva (*hindsight self-reflection*) que produz *feedback* intrínseco dual: (1) *feedback* numérico intrínseco que rastreia a conclusão incremental de subtarefas em relação a tentativas anteriores, recompensando explorações promissoras, e (2) *feedback* linguístico intrínseco que destila lições reutilizáveis em um *buffer* de memória, recuperado através da nossa estratégia proposta de Limite Superior de Confiança com Consciência de Similaridade e Utilidade (SimUtil-UCB), que equilibra relevância, utilidade e exploração para alavancar experiências passadas de forma eficaz. Experimentos extensos em duas famílias de modelos e quatro tarefas agentivas desafiadoras demonstram que o RetroAgent supera significativamente os métodos existentes, alcançando resultados de última geração – por exemplo, superando agentes treinados com Otimização de Política Relativa de Grupo (GRPO) em +18,3% no ALFWorld, +15,4% no WebShop, +27,1% no Sokoban e +8,9% no MineSweeper – enquanto exibe forte adaptação em tempo de teste e generalização para cenários fora da distribuição (*out-of-distribution*).

English

Large language model (LLM)-based agents trained with reinforcement learning (RL) have shown strong potential on complex interactive tasks. However, standard RL paradigms favor static problem-solving over continuous adaptation: agents often converge to suboptimal strategies due to insufficient exploration, while learned knowledge remains implicit within parameters rather than explicitly retrievable, limiting effective experiential learning. To address these limitations, we introduce RetroAgent, an online RL framework that empowers agents to master complex interactive environments not just by solving, but by evolving. Concretely, RetroAgent features a hindsight self-reflection mechanism that produces dual intrinsic feedback: (1) intrinsic numerical feedback that that tracks incremental subtask completion relative to prior attempts, rewarding promising explorations, and (2) intrinsic language feedback that distills reusable lessons into a memory buffer, retrieved via our proposed Similarity & Utility-Aware Upper Confidence Bound (SimUtil-UCB) strategy balancing relevance, utility, and exploration to effectively leverage past experiences. Extensive experiments on two model families across four challenging agentic tasks demonstrate that RetroAgent significantly outperforms existing methods, achieving state-of-the-art results -- e.g., surpassing Group Relative Policy Optimization (GRPO)-trained agents by +18.3% on ALFWorld, +15.4% on WebShop, +27.1% on Sokoban, and +8.9% on MineSweeper -- while exhibiting strong test-time adaptation and generalization to out-of-distribution scenarios.