Apprendimento per Rinforzo Esperienziale

Abstract

L'apprendimento per rinforzo è diventato l'approccio centrale per consentire ai modelli linguistici (LM) di apprendere da ricompense o feedback ambientali. Nella pratica, il feedback ambientale è solitamente sparso e ritardato. Apprendere da tali segnali è complesso, poiché i LM devono dedurre implicitamente come i fallimenti osservati debbano tradursi in cambiamenti comportamentali per le iterazioni future. Introduciamo l'Apprendimento per Rinforzo Esperienziale (ERL), un paradigma di addestramento che incorpora un ciclo esplicito di esperienza-riflessione-consolidamento nel processo di apprendimento per rinforzo. Dato un compito, il modello genera un tentativo iniziale, riceve un feedback ambientale e produce una riflessione che guida un secondo tentativo raffinato, il cui successo viene rinforzato e internalizzato nella politica base. Questo processo converte il feedback in una revisione comportamentale strutturata, migliorando l'esplorazione e stabilizzando l'ottimizzazione, preservando al contempo i guadagni durante il deployment senza costi aggiuntivi di inferenza. In ambienti di controllo a ricompensa sparsa e benchmark di ragionamento agentico, l'ERL migliora costantemente l'efficienza di apprendimento e le prestazioni finali rispetto a solidi baseline di apprendimento per rinforzo, raggiungendo miglioramenti fino al +81% in ambienti complessi multi-step e fino all'+11% in compiti di ragionamento con strumenti. Questi risultati suggeriscono che l'integrazione di un'autoriflessione esplicita nell'addestramento delle politiche fornisce un meccanismo pratico per trasformare il feedback in un miglioramento comportamentale duraturo.

English

Reinforcement learning has become the central approach for language models (LMs) to learn from environmental reward or feedback. In practice, the environmental feedback is usually sparse and delayed. Learning from such signals is challenging, as LMs must implicitly infer how observed failures should translate into behavioral changes for future iterations. We introduce Experiential Reinforcement Learning (ERL), a training paradigm that embeds an explicit experience-reflection-consolidation loop into the reinforcement learning process. Given a task, the model generates an initial attempt, receives environmental feedback, and produces a reflection that guides a refined second attempt, whose success is reinforced and internalized into the base policy. This process converts feedback into structured behavioral revision, improving exploration and stabilizing optimization while preserving gains at deployment without additional inference cost. Across sparse-reward control environments and agentic reasoning benchmarks, ERL consistently improves learning efficiency and final performance over strong reinforcement learning baselines, achieving gains of up to +81% in complex multi-step environments and up to +11% in tool-using reasoning tasks. These results suggest that integrating explicit self-reflection into policy training provides a practical mechanism for transforming feedback into durable behavioral improvement.