Aprendizado por Reforço Experiencial

Resumo

O aprendizado por reforço tornou-se a abordagem central para modelos de linguagem (MLs) aprenderem com recompensas ou feedback do ambiente. Na prática, o feedback ambiental geralmente é esparso e atrasado. Aprender a partir desses sinais é desafiador, pois os MLs devem implicitamente inferir como as falhas observadas devem se traduzir em mudanças comportamentais para iterações futuras. Introduzimos o Aprendizado por Reforço Experiencial (ERL), um paradigma de treinamento que incorpora um ciclo explícito de experiência-reflexão-consolidação no processo de aprendizado por reforço. Dada uma tarefa, o modelo gera uma tentativa inicial, recebe feedback ambiental e produz uma reflexão que orienta uma segunda tentativa refinada, cujo sucesso é reforçado e internalizado na política base. Este processo converte o feedback em uma revisão comportamental estruturada, melhorando a exploração e estabilizando a otimização, enquanto preserva os ganhos na implantação sem custo adicional de inferência. Em ambientes de controle com recompensa esparsa e benchmarks de raciocínio agentivo, o ERL melhora consistentemente a eficiência de aprendizado e o desempenho final em relação a fortes linhas de base de aprendizado por reforço, alcançando ganhos de até +81% em ambientes complexos de múltiplas etapas e até +11% em tarefas de raciocínio com uso de ferramentas. Esses resultados sugerem que a integração da autorreflexão explícita no treinamento de políticas fornece um mecanismo prático para transformar feedback em melhorias comportamentais duradouras.

English

Reinforcement learning has become the central approach for language models (LMs) to learn from environmental reward or feedback. In practice, the environmental feedback is usually sparse and delayed. Learning from such signals is challenging, as LMs must implicitly infer how observed failures should translate into behavioral changes for future iterations. We introduce Experiential Reinforcement Learning (ERL), a training paradigm that embeds an explicit experience-reflection-consolidation loop into the reinforcement learning process. Given a task, the model generates an initial attempt, receives environmental feedback, and produces a reflection that guides a refined second attempt, whose success is reinforced and internalized into the base policy. This process converts feedback into structured behavioral revision, improving exploration and stabilizing optimization while preserving gains at deployment without additional inference cost. Across sparse-reward control environments and agentic reasoning benchmarks, ERL consistently improves learning efficiency and final performance over strong reinforcement learning baselines, achieving gains of up to +81% in complex multi-step environments and up to +11% in tool-using reasoning tasks. These results suggest that integrating explicit self-reflection into policy training provides a practical mechanism for transforming feedback into durable behavioral improvement.