RAGEN: Понимание самоэволюции в агентах на основе больших языковых моделей через многократное обучение с подкреплением
RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning
April 24, 2025
Авторы: Zihan Wang, Kangrui Wang, Qineng Wang, Pingyue Zhang, Linjie Li, Zhengyuan Yang, Kefan Yu, Minh Nhat Nguyen, Licheng Liu, Eli Gottlieb, Monica Lam, Yiping Lu, Kyunghyun Cho, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li
cs.AI
Аннотация
Обучение больших языковых моделей (LLMs) в качестве интерактивных агентов ставит уникальные задачи, включая принятие решений на длительных горизонтах и взаимодействие со стохастической обратной связью среды. Хотя обучение с подкреплением (RL) позволило добиться прогресса в статических задачах, обучение агентов RL в многоходовых сценариях остается малоизученным. Мы предлагаем StarPO (State-Thinking-Actions-Reward Policy Optimization), универсальную структуру для RL агентов на уровне траекторий, и представляем RAGEN, модульную систему для обучения и оценки агентов на основе LLM. Наше исследование в трех стилизованных средах выявило три ключевых результата. Во-первых, обучение агентов RL демонстрирует повторяющийся режим "Эхо-ловушки", где наблюдаются резкие скачки дисперсии наград и градиентов; мы решаем эту проблему с помощью StarPO-S, стабилизированной версии с фильтрацией траекторий, включением критика и раздельным ограничением. Во-вторых, мы обнаружили, что формирование RL-сценариев выиграет от разнообразных начальных состояний, средней гранулярности взаимодействия и более частого сэмплирования. В-третьих, мы показываем, что без детализированных сигналов наград, учитывающих рассуждения, рассуждения агентов едва ли возникают в ходе многоходового RL, и они могут демонстрировать поверхностные стратегии или галлюцинированные мысли. Код и среды доступны по адресу https://github.com/RAGEN-AI/RAGEN.
English
Training large language models (LLMs) as interactive agents presents unique
challenges including long-horizon decision making and interacting with
stochastic environment feedback. While reinforcement learning (RL) has enabled
progress in static tasks, multi-turn agent RL training remains underexplored.
We propose StarPO (State-Thinking-Actions-Reward Policy Optimization), a
general framework for trajectory-level agent RL, and introduce RAGEN, a modular
system for training and evaluating LLM agents. Our study on three stylized
environments reveals three core findings. First, our agent RL training shows a
recurring mode of Echo Trap where reward variance cliffs and gradient spikes;
we address this with StarPO-S, a stabilized variant with trajectory filtering,
critic incorporation, and decoupled clipping. Second, we find the shaping of RL
rollouts would benefit from diverse initial states, medium interaction
granularity and more frequent sampling. Third, we show that without
fine-grained, reasoning-aware reward signals, agent reasoning hardly emerge
through multi-turn RL and they may show shallow strategies or hallucinated
thoughts. Code and environments are available at
https://github.com/RAGEN-AI/RAGEN.