Ervaringsgericht Versterkingsleren

Samenvatting

Versterkend leren is uitgegroeid tot de centrale aanpak voor taalmodellen (TM's) om te leren van beloning of feedback uit de omgeving. In de praktijk is deze omgevingsfeedback meestal schaars en vertraagd. Leren van dergelijke signalen is uitdagend, omdat TM's impliciet moeten afleiden hoe waargenomen fouten moeten vertalen naar gedragsveranderingen voor toekomstige iteraties. Wij introduceren Ervaringsgericht Versterkend Leren (ERL), een trainingsparadigma dat een expliciete ervaring-reflectie-consolidatielus in het versterkende leerproces integreert. Gegeven een taak genereert het model een eerste poging, ontvangt het omgevingsfeedback en produceert het een reflectie die een verfijnde tweede poging aanstuurt. Het succes hiervan wordt versterkt en geïnternaliseerd in het basisbeleid. Dit proces zet feedback om in gestructureerde gedragsrevisie, verbetert de exploratie en stabiliseert de optimalisatie, terwijl behaalde winsten tijdens de inzet behouden blijven zonder extra inferentiekosten. In omgevingen met schaarse beloning en benchmarks voor agent-gericht redeneren verbetert ERL consistent de leer efficiëntie en uiteindelijke prestaties ten opzichte van sterke versterkende leer-basislijnen, met winsten tot +81% in complexe, meerstapsomgevingen en tot +11% in redeneertaken met gereedschapsgebruik. Deze resultaten suggereren dat het integreren van expliciete zelfreflectie in beleidstraining een praktisch mechanisme biedt om feedback om te zetten in duurzame gedragsverbetering.

English

Reinforcement learning has become the central approach for language models (LMs) to learn from environmental reward or feedback. In practice, the environmental feedback is usually sparse and delayed. Learning from such signals is challenging, as LMs must implicitly infer how observed failures should translate into behavioral changes for future iterations. We introduce Experiential Reinforcement Learning (ERL), a training paradigm that embeds an explicit experience-reflection-consolidation loop into the reinforcement learning process. Given a task, the model generates an initial attempt, receives environmental feedback, and produces a reflection that guides a refined second attempt, whose success is reinforced and internalized into the base policy. This process converts feedback into structured behavioral revision, improving exploration and stabilizing optimization while preserving gains at deployment without additional inference cost. Across sparse-reward control environments and agentic reasoning benchmarks, ERL consistently improves learning efficiency and final performance over strong reinforcement learning baselines, achieving gains of up to +81% in complex multi-step environments and up to +11% in tool-using reasoning tasks. These results suggest that integrating explicit self-reflection into policy training provides a practical mechanism for transforming feedback into durable behavioral improvement.