RetroAgent: Von der Lösung zur Evolution durch retrospektives duales intrinsisches Feedback

RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback

March 9, 2026

Autoren: Xiaoying Zhang, Zichen Liu, Yipeng Zhang, Xia Hu, Wenqi Shao

cs.AI

Zusammenfassung

Auf Reinforcement Learning (RL) trainierte Agenten auf Basis großer Sprachmodelle (Large Language Models, LLMs) haben ein hohes Potenzial für komplexe interaktive Aufgaben gezeigt. Herkömmliche RL-Paradigmen begünstigen jedoch statische Problemlösung gegenüber kontinuierlicher Anpassung: Agenten konvergieren häufig zu suboptimalen Strategien aufgrund unzureichender Exploration, während erlerntes Wissen implizit in Parametern verbleibt anstatt explizit abrufbar zu sein, was effektives Lernen aus Erfahrung limitiert. Um diese Einschränkungen zu adressieren, führen wir RetroAgent ein, ein Online-RL-Framework, das Agenten befähigt, komplexe interaktive Umgebungen nicht nur durch Lösen, sondern durch Evolution zu meistern. Konkret verfügt RetroAgent über einen Self-Reflection-Mechanismus mit Rückblick (Hindsight), der duale intrinsische Rückmeldung erzeugt: (1) intrinsische numerische Rückmeldung, die inkrementellen Teillösungsfortschritt im Vergleich zu vorherigen Versuchen verfolgt und vielversprechende Explorationen belohnt, und (2) intrinsische Sprachrückmeldung, die wiederverwendbare Lektionen in einen Speicherpuffer destilliert. Dieser wird über unsere vorgeschlagene Similarity & Utility-Aware Upper Confidence Bound (SimUtil-UCB)-Strategie abgerufen, die Relevanz, Nützlichkeit und Exploration abwägt, um vergangene Erfahrungen effektiv zu nutzen. Umfangreiche Experimente mit zwei Modellfamilien über vier anspruchsvolle agentenbasierte Aufgaben zeigen, dass RetroAgent bestehende Methoden signifikant übertrifft und State-of-the-Art-Ergebnisse erzielt – z.B. übertrifft es mit Group Relative Policy Optimization (GRPO) trainierte Agenten um +18,3 % auf ALFWorld, +15,4 % auf WebShop, +27,1 % auf Sokoban und +8,9 % auf MineSweeper – bei gleichzeitig starker Anpassungsfähigkeit zur Testzeit und Generalisierung auf Out-of-Distribution-Szenarien.

English

Large language model (LLM)-based agents trained with reinforcement learning (RL) have shown strong potential on complex interactive tasks. However, standard RL paradigms favor static problem-solving over continuous adaptation: agents often converge to suboptimal strategies due to insufficient exploration, while learned knowledge remains implicit within parameters rather than explicitly retrievable, limiting effective experiential learning. To address these limitations, we introduce RetroAgent, an online RL framework that empowers agents to master complex interactive environments not just by solving, but by evolving. Concretely, RetroAgent features a hindsight self-reflection mechanism that produces dual intrinsic feedback: (1) intrinsic numerical feedback that that tracks incremental subtask completion relative to prior attempts, rewarding promising explorations, and (2) intrinsic language feedback that distills reusable lessons into a memory buffer, retrieved via our proposed Similarity & Utility-Aware Upper Confidence Bound (SimUtil-UCB) strategy balancing relevance, utility, and exploration to effectively leverage past experiences. Extensive experiments on two model families across four challenging agentic tasks demonstrate that RetroAgent significantly outperforms existing methods, achieving state-of-the-art results -- e.g., surpassing Group Relative Policy Optimization (GRPO)-trained agents by +18.3% on ALFWorld, +15.4% on WebShop, +27.1% on Sokoban, and +8.9% on MineSweeper -- while exhibiting strong test-time adaptation and generalization to out-of-distribution scenarios.