RAGEN : Comprendre l'auto-évolution des agents LLM grâce à l'apprentissage par renforcement multi-tours

RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning

April 24, 2025

Auteurs: Zihan Wang, Kangrui Wang, Qineng Wang, Pingyue Zhang, Linjie Li, Zhengyuan Yang, Kefan Yu, Minh Nhat Nguyen, Licheng Liu, Eli Gottlieb, Monica Lam, Yiping Lu, Kyunghyun Cho, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li

cs.AI

Résumé

L'entraînement de grands modèles de langage (LLMs) en tant qu'agents interactifs présente des défis uniques, notamment la prise de décision à long terme et l'interaction avec des retours d'environnement stochastiques. Bien que l'apprentissage par renforcement (RL) ait permis des progrès dans des tâches statiques, l'entraînement RL d'agents multi-tours reste peu exploré. Nous proposons StarPO (State-Thinking-Actions-Reward Policy Optimization), un cadre général pour le RL d'agents au niveau de la trajectoire, et introduisons RAGEN, un système modulaire pour l'entraînement et l'évaluation d'agents LLM. Notre étude sur trois environnements stylisés révèle trois conclusions principales. Premièrement, notre entraînement RL d'agents montre un mode récurrent de "Echo Trap" où la variance des récompenses chute et les gradients connaissent des pics ; nous abordons cela avec StarPO-S, une variante stabilisée avec filtrage de trajectoire, incorporation de critique et découplage de l'écrêtage. Deuxièmement, nous constatons que la mise en forme des rollouts RL bénéficierait d'états initiaux divers, d'une granularité d'interaction moyenne et d'un échantillonnage plus fréquent. Troisièmement, nous montrons que sans signaux de récompense fins et conscients du raisonnement, le raisonnement des agents émerge difficilement à travers le RL multi-tours et ils peuvent adopter des stratégies superficielles ou des pensées hallucinées. Le code et les environnements sont disponibles à l'adresse https://github.com/RAGEN-AI/RAGEN.

English

Training large language models (LLMs) as interactive agents presents unique challenges including long-horizon decision making and interacting with stochastic environment feedback. While reinforcement learning (RL) has enabled progress in static tasks, multi-turn agent RL training remains underexplored. We propose StarPO (State-Thinking-Actions-Reward Policy Optimization), a general framework for trajectory-level agent RL, and introduce RAGEN, a modular system for training and evaluating LLM agents. Our study on three stylized environments reveals three core findings. First, our agent RL training shows a recurring mode of Echo Trap where reward variance cliffs and gradient spikes; we address this with StarPO-S, a stabilized variant with trajectory filtering, critic incorporation, and decoupled clipping. Second, we find the shaping of RL rollouts would benefit from diverse initial states, medium interaction granularity and more frequent sampling. Third, we show that without fine-grained, reasoning-aware reward signals, agent reasoning hardly emerge through multi-turn RL and they may show shallow strategies or hallucinated thoughts. Code and environments are available at https://github.com/RAGEN-AI/RAGEN.