RAGEN: Comprensión de la Auto-evolución en Agentes de LLM mediante Aprendizaje por Refuerzo de Múltiples Turnos

RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning

April 24, 2025

Autores: Zihan Wang, Kangrui Wang, Qineng Wang, Pingyue Zhang, Linjie Li, Zhengyuan Yang, Kefan Yu, Minh Nhat Nguyen, Licheng Liu, Eli Gottlieb, Monica Lam, Yiping Lu, Kyunghyun Cho, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li

cs.AI

Resumen

Entrenar modelos de lenguaje de gran escala (LLMs) como agentes interactivos presenta desafíos únicos, incluyendo la toma de decisiones a largo plazo y la interacción con retroalimentación estocástica del entorno. Si bien el aprendizaje por refuerzo (RL) ha permitido avances en tareas estáticas, el entrenamiento de agentes RL en múltiples turnos sigue siendo poco explorado. Proponemos StarPO (Optimización de Políticas de Estado-Pensamiento-Acciones-Recompensa), un marco general para RL de agentes a nivel de trayectoria, e introducimos RAGEN, un sistema modular para entrenar y evaluar agentes LLM. Nuestro estudio en tres entornos estilizados revela tres hallazgos principales. Primero, nuestro entrenamiento de agentes RL muestra un modo recurrente de "Trampa de Eco" donde se observan acantilados de varianza en la recompensa y picos en los gradientes; abordamos esto con StarPO-S, una variante estabilizada con filtrado de trayectorias, incorporación de críticos y recorte desacoplado. Segundo, encontramos que la configuración de los rollouts de RL se beneficiaría de estados iniciales diversos, una granularidad de interacción media y un muestreo más frecuente. Tercero, demostramos que, sin señales de recompensa detalladas y conscientes del razonamiento, el razonamiento del agente difícilmente emerge a través de RL en múltiples turnos, y pueden mostrar estrategias superficiales o pensamientos alucinados. El código y los entornos están disponibles en https://github.com/RAGEN-AI/RAGEN.

English

Training large language models (LLMs) as interactive agents presents unique challenges including long-horizon decision making and interacting with stochastic environment feedback. While reinforcement learning (RL) has enabled progress in static tasks, multi-turn agent RL training remains underexplored. We propose StarPO (State-Thinking-Actions-Reward Policy Optimization), a general framework for trajectory-level agent RL, and introduce RAGEN, a modular system for training and evaluating LLM agents. Our study on three stylized environments reveals three core findings. First, our agent RL training shows a recurring mode of Echo Trap where reward variance cliffs and gradient spikes; we address this with StarPO-S, a stabilized variant with trajectory filtering, critic incorporation, and decoupled clipping. Second, we find the shaping of RL rollouts would benefit from diverse initial states, medium interaction granularity and more frequent sampling. Third, we show that without fine-grained, reasoning-aware reward signals, agent reasoning hardly emerge through multi-turn RL and they may show shallow strategies or hallucinated thoughts. Code and environments are available at https://github.com/RAGEN-AI/RAGEN.