Erfahrungsbasiertes Bestärkendes Lernen

papers.abstract

Reinforcement Learning hat sich zum zentralen Ansatz entwickelt, mit dem Sprachmodelle (LMs) aus Umweltbelohnungen oder Feedback lernen. In der Praxis ist das Umweltfeedback jedoch meist spärlich und verzögert. Das Lernen aus solchen Signalen ist herausfordernd, da Sprachmodelle implizit ableiten müssen, wie beobachtete Fehler in Verhaltensänderungen für zukünftige Iterationen übersetzt werden sollten. Wir führen Experiential Reinforcement Learning (ERL) ein, ein Trainingsparadigma, das eine explizite Erfahrungs-Reflexions-Konsolidierungs-Schleife in den Reinforcement-Learning-Prozess einbettet. Bei einer gegebenen Aufgabe generiert das Modell einen ersten Versuch, erhält Umweltfeedback und erstellt eine Reflexion, die einen verfeinerten zweiten Versuch leitet, dessen Erfolg verstärkt und in die Basis-Policy internalisiert wird. Dieser Prozess wandelt Feedback in strukturierte Verhaltensrevision um, verbessert die Exploration und stabilisiert die Optimierung, während die Leistungsgewinne beim Einsatz ohne zusätzliche Inferenzkosten erhalten bleiben. In Umgebungen mit spärlicher Belohnung und agentenbasierten Reasoning-Benchmarks verbessert ERL durchgängig die Lerneffizienz und Endleistung gegenüber starken Reinforcement-Learning-Baselines und erzielt Gewinne von bis zu +81 % in komplexen, mehrstufigen Umgebungen und bis zu +11 % in werkzeugnutzenden Reasoning-Aufgaben. Diese Ergebnisse legen nahe, dass die Integration expliziter Selbstreflexion in das Policy-Training einen praktischen Mechanismus bietet, um Feedback in dauerhafte Verhaltensverbesserung umzuwandeln.

English

Reinforcement learning has become the central approach for language models (LMs) to learn from environmental reward or feedback. In practice, the environmental feedback is usually sparse and delayed. Learning from such signals is challenging, as LMs must implicitly infer how observed failures should translate into behavioral changes for future iterations. We introduce Experiential Reinforcement Learning (ERL), a training paradigm that embeds an explicit experience-reflection-consolidation loop into the reinforcement learning process. Given a task, the model generates an initial attempt, receives environmental feedback, and produces a reflection that guides a refined second attempt, whose success is reinforced and internalized into the base policy. This process converts feedback into structured behavioral revision, improving exploration and stabilizing optimization while preserving gains at deployment without additional inference cost. Across sparse-reward control environments and agentic reasoning benchmarks, ERL consistently improves learning efficiency and final performance over strong reinforcement learning baselines, achieving gains of up to +81% in complex multi-step environments and up to +11% in tool-using reasoning tasks. These results suggest that integrating explicit self-reflection into policy training provides a practical mechanism for transforming feedback into durable behavioral improvement.