Эмпирическое обучение с подкреплением

Аннотация

Обучение с подкреплением стало основным подходом для языковых моделей (ЯМ) к обучению на основе вознаграждения или обратной связи от среды. На практике обратная связь от среды обычно является разреженной и запаздывающей. Обучение по таким сигналам является сложной задачей, поскольку ЯМ должны неявно выводить, как наблюдаемые неудачи должны трансформироваться в изменения поведения для будущих итераций. Мы представляем Экспериентальное обучение с подкреплением (ЭОП) — парадигму обучения, которая внедряет явный цикл «опыт-рефлексия-консолидация» в процесс обучения с подкреплением. Для данной задачи модель генерирует первоначальную попытку, получает обратную связь от среды и создает рефлексию, которая направляет уточненную вторую попытку, чей успех подкрепляется и интериоризируется в базовую политику. Этот процесс преобразует обратную связь в структурированную поведенческую коррекцию, улучшая исследование и стабилизируя оптимизацию, одновременно сохраняя достижения при развертывании без дополнительных вычислительных затрат на вывод. В разреженно-вознаграждающих средах управления и бенчмарках агентного мышления ЭОП последовательно повышает эффективность обучения и итоговую производительность по сравнению с сильными базовыми методами обучения с подкреплением, демонстрируя улучшения до +81% в сложных многошаговых средах и до +11% в задачах рассуждения с использованием инструментов. Эти результаты позволяют предположить, что интеграция явной саморефлексии в обучение политики предоставляет практический механизм для преобразования обратной связи в устойчивое поведенческое улучшение.

English

Reinforcement learning has become the central approach for language models (LMs) to learn from environmental reward or feedback. In practice, the environmental feedback is usually sparse and delayed. Learning from such signals is challenging, as LMs must implicitly infer how observed failures should translate into behavioral changes for future iterations. We introduce Experiential Reinforcement Learning (ERL), a training paradigm that embeds an explicit experience-reflection-consolidation loop into the reinforcement learning process. Given a task, the model generates an initial attempt, receives environmental feedback, and produces a reflection that guides a refined second attempt, whose success is reinforced and internalized into the base policy. This process converts feedback into structured behavioral revision, improving exploration and stabilizing optimization while preserving gains at deployment without additional inference cost. Across sparse-reward control environments and agentic reasoning benchmarks, ERL consistently improves learning efficiency and final performance over strong reinforcement learning baselines, achieving gains of up to +81% in complex multi-step environments and up to +11% in tool-using reasoning tasks. These results suggest that integrating explicit self-reflection into policy training provides a practical mechanism for transforming feedback into durable behavioral improvement.