RAGEN: Verständnis der Selbstevolution in LLM-Agenten durch mehrstufiges Reinforcement Learning

RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning

April 24, 2025

Autoren: Zihan Wang, Kangrui Wang, Qineng Wang, Pingyue Zhang, Linjie Li, Zhengyuan Yang, Kefan Yu, Minh Nhat Nguyen, Licheng Liu, Eli Gottlieb, Monica Lam, Yiping Lu, Kyunghyun Cho, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li

cs.AI

Zusammenfassung

Das Training großer Sprachmodelle (LLMs) als interaktive Agenten stellt einzigartige Herausforderungen dar, darunter langfristige Entscheidungsfindung und die Interaktion mit stochastischem Umweltfeedback. Während Reinforcement Learning (RL) Fortschritte bei statischen Aufgaben ermöglicht hat, bleibt das Training von Agenten für Mehrfachinteraktionen mit RL weitgehend unerforscht. Wir schlagen StarPO (State-Thinking-Actions-Reward Policy Optimization) vor, einen allgemeinen Rahmen für trajektorienbasiertes Agenten-RL, und führen RAGEN ein, ein modulares System für das Training und die Bewertung von LLM-Agenten. Unsere Studie in drei stilisierten Umgebungen offenbart drei zentrale Erkenntnisse. Erstens zeigt unser Agenten-RL-Training ein wiederkehrendes Muster des Echo Traps, bei dem es zu Varianzsprüngen bei den Belohnungen und Gradientenspitzen kommt; wir adressieren dies mit StarPO-S, einer stabilisierten Variante mit Trajektorienfilterung, Einbindung eines Kritikers und entkoppeltem Clipping. Zweitens stellen wir fest, dass die Gestaltung von RL-Rollouts von diversen Ausgangszuständen, mittlerer Interaktionsgranularität und häufigerer Probennahme profitieren würde. Drittens zeigen wir, dass ohne fein abgestimmte, auf das Denken abgestimmte Belohnungssignale das Denken der Agenten kaum durch Mehrfachinteraktionen mit RL entsteht und sie oberflächliche Strategien oder halluzinierte Gedanken zeigen können. Code und Umgebungen sind verfügbar unter https://github.com/RAGEN-AI/RAGEN.

English

Training large language models (LLMs) as interactive agents presents unique challenges including long-horizon decision making and interacting with stochastic environment feedback. While reinforcement learning (RL) has enabled progress in static tasks, multi-turn agent RL training remains underexplored. We propose StarPO (State-Thinking-Actions-Reward Policy Optimization), a general framework for trajectory-level agent RL, and introduce RAGEN, a modular system for training and evaluating LLM agents. Our study on three stylized environments reveals three core findings. First, our agent RL training shows a recurring mode of Echo Trap where reward variance cliffs and gradient spikes; we address this with StarPO-S, a stabilized variant with trajectory filtering, critic incorporation, and decoupled clipping. Second, we find the shaping of RL rollouts would benefit from diverse initial states, medium interaction granularity and more frequent sampling. Third, we show that without fine-grained, reasoning-aware reward signals, agent reasoning hardly emerge through multi-turn RL and they may show shallow strategies or hallucinated thoughts. Code and environments are available at https://github.com/RAGEN-AI/RAGEN.