RAGEN: Comprendere l'auto-evoluzione negli agenti LLM attraverso l'apprendimento per rinforzo multi-turno
RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning
April 24, 2025
Autori: Zihan Wang, Kangrui Wang, Qineng Wang, Pingyue Zhang, Linjie Li, Zhengyuan Yang, Kefan Yu, Minh Nhat Nguyen, Licheng Liu, Eli Gottlieb, Monica Lam, Yiping Lu, Kyunghyun Cho, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li
cs.AI
Abstract
L'addestramento di grandi modelli linguistici (LLM) come agenti interattivi presenta sfide uniche, tra cui il processo decisionale a lungo termine e l'interazione con feedback ambientali stocastici. Sebbene l'apprendimento per rinforzo (RL) abbia permesso progressi in compiti statici, l'addestramento RL per agenti multi-turn rimane poco esplorato. Proponiamo StarPO (State-Thinking-Actions-Reward Policy Optimization), un framework generale per l'RL a livello di traiettoria per agenti, e introduciamo RAGEN, un sistema modulare per l'addestramento e la valutazione di agenti LLM. Il nostro studio su tre ambienti stilizzati rivela tre risultati principali. Innanzitutto, il nostro addestramento RL per agenti mostra un ricorrente fenomeno di "Echo Trap", caratterizzato da picchi di varianza delle ricompense e gradienti; affrontiamo questo problema con StarPO-S, una variante stabilizzata che include filtraggio delle traiettorie, incorporazione di un critico e clipping disaccoppiato. In secondo luogo, scopriamo che la strutturazione degli episodi RL trarrebbe vantaggio da stati iniziali diversificati, una granularità di interazione media e un campionamento più frequente. Infine, dimostriamo che, senza segnali di ricompensa dettagliati e consapevoli del ragionamento, il ragionamento degli agenti difficilmente emerge attraverso l'RL multi-turn, e possono manifestare strategie superficiali o pensieri allucinati. Codice e ambienti sono disponibili su https://github.com/RAGEN-AI/RAGEN.
English
Training large language models (LLMs) as interactive agents presents unique
challenges including long-horizon decision making and interacting with
stochastic environment feedback. While reinforcement learning (RL) has enabled
progress in static tasks, multi-turn agent RL training remains underexplored.
We propose StarPO (State-Thinking-Actions-Reward Policy Optimization), a
general framework for trajectory-level agent RL, and introduce RAGEN, a modular
system for training and evaluating LLM agents. Our study on three stylized
environments reveals three core findings. First, our agent RL training shows a
recurring mode of Echo Trap where reward variance cliffs and gradient spikes;
we address this with StarPO-S, a stabilized variant with trajectory filtering,
critic incorporation, and decoupled clipping. Second, we find the shaping of RL
rollouts would benefit from diverse initial states, medium interaction
granularity and more frequent sampling. Third, we show that without
fine-grained, reasoning-aware reward signals, agent reasoning hardly emerge
through multi-turn RL and they may show shallow strategies or hallucinated
thoughts. Code and environments are available at
https://github.com/RAGEN-AI/RAGEN.