Aprendizaje por Refuerzo Experiencial

Resumen

El aprendizaje por refuerzo se ha convertido en el enfoque central para que los modelos de lenguaje (LM) aprendan de la recompensa o retroalimentación ambiental. En la práctica, la retroalimentación ambiental suele ser escasa y retardada. Aprender de estas señales es un desafío, ya que los LM deben inferir implícitamente cómo los fallos observados deben traducirse en cambios de comportamiento para iteraciones futuras. Introducimos el Aprendizaje por Refuerzo Experiencial (ERL), un paradigma de entrenamiento que incorpora un ciclo explícito de experiencia-reflexión-consolidación dentro del proceso de aprendizaje por refuerzo. Dada una tarea, el modelo genera un intento inicial, recibe retroalimentación ambiental y produce una reflexión que guía un segundo intento refinado, cuyo éxito se refuerza e internaliza en la política base. Este proceso convierte la retroalimentación en una revisión conductual estructurada, mejorando la exploración y estabilizando la optimización, al tiempo que preserva las ganancias durante el despliegue sin coste computacional adicional en inferencia. En entornos de control con recompensas escasas y benchmarks de razonamiento agentico, ERL mejora consistentemente la eficiencia del aprendizaje y el rendimiento final respecto a sólidas líneas base de aprendizaje por refuerzo, logrando mejoras de hasta +81% en entornos complejos multi-etapa y hasta +11% en tareas de razonamiento con uso de herramientas. Estos resultados sugieren que integrar la autorreflexión explícita en el entrenamiento de políticas proporciona un mecanismo práctico para transformar la retroalimentación en una mejora conductual duradera.

English

Reinforcement learning has become the central approach for language models (LMs) to learn from environmental reward or feedback. In practice, the environmental feedback is usually sparse and delayed. Learning from such signals is challenging, as LMs must implicitly infer how observed failures should translate into behavioral changes for future iterations. We introduce Experiential Reinforcement Learning (ERL), a training paradigm that embeds an explicit experience-reflection-consolidation loop into the reinforcement learning process. Given a task, the model generates an initial attempt, receives environmental feedback, and produces a reflection that guides a refined second attempt, whose success is reinforced and internalized into the base policy. This process converts feedback into structured behavioral revision, improving exploration and stabilizing optimization while preserving gains at deployment without additional inference cost. Across sparse-reward control environments and agentic reasoning benchmarks, ERL consistently improves learning efficiency and final performance over strong reinforcement learning baselines, achieving gains of up to +81% in complex multi-step environments and up to +11% in tool-using reasoning tasks. These results suggest that integrating explicit self-reflection into policy training provides a practical mechanism for transforming feedback into durable behavioral improvement.