ARLArena: Ein einheitliches Framework für stabiles agentenbasiertes Verstärkungslernen
ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning
February 25, 2026
papers.authors: Xiaoxuan Wang, Han Zhang, Haixin Wang, Yidan Shi, Ruoyan Li, Kaiqiao Han, Chenyi Tong, Haoran Deng, Renliang Sun, Alexander Taylor, Yanqiao Zhu, Jason Cong, Yizhou Sun, Wei Wang
cs.AI
papers.abstract
Agentisches Reinforcement Learning (ARL) hat sich schnell als vielversprechendes Paradigma etabliert, um Agenten für die Lösung komplexer, mehrstufiger interaktiver Aufgaben zu trainieren. Trotz ermutigender früher Ergebnisse bleibt ARL äußerst instabil und führt häufig zu Trainingszusammenbrüchen. Diese Instabilität schränkt die Skalierbarkeit auf größere Umgebungen und längere Interaktionshorizonte ein und behindert die systematische Erforschung algorithmischer Designentscheidungen. In diesem Artikel schlagen wir zunächst ARLArena vor, ein stabiles Trainingsrezept und systematisches Analyseframework, das die Trainingsstabilität in einer kontrollierten und reproduzierbaren Umgebung untersucht. ARLArena konstruiert zunächst eine saubere und standardisierte Testumgebung. Anschließend zerlegen wir die Policy-Gradient-Methode in vier Kern-Design-Dimensionen und bewerten die Leistung und Stabilität jeder Dimension. Durch diese feingranulare Analyse destillieren wir eine einheitliche Perspektive auf ARL und schlagen SAMPO vor, eine stabile agentische Policy-Optimierungsmethode, die entwickelt wurde, um die Hauptursachen für Instabilität in ARL zu mildern. Empirisch erreicht SAMPO durchgängig stabiles Training und hohe Leistung über verschiedene agentische Aufgaben hinweg. Insgesamt bietet diese Studie eine vereinheitlichende Policy-Gradient-Perspektive für ARL und praktische Leitlinien für den Aufbau stabiler und reproduzierbarer, auf LLM basierender Agenten-Trainingspipelines.
English
Agentic reinforcement learning (ARL) has rapidly gained attention as a promising paradigm for training agents to solve complex, multi-step interactive tasks. Despite encouraging early results, ARL remains highly unstable, often leading to training collapse. This instability limits scalability to larger environments and longer interaction horizons, and constrains systematic exploration of algorithmic design choices. In this paper, we first propose ARLArena, a stable training recipe and systematic analysis framework that examines training stability in a controlled and reproducible setting. ARLArena first constructs a clean and standardized testbed. Then, we decompose policy gradient into four core design dimensions and assess the performance and stability of each dimension. Through this fine-grained analysis, we distill a unified perspective on ARL and propose SAMPO, a stable agentic policy optimization method designed to mitigate the dominant sources of instability in ARL. Empirically, SAMPO achieves consistently stable training and strong performance across diverse agentic tasks. Overall, this study provides a unifying policy gradient perspective for ARL and offers practical guidance for building stable and reproducible LLM-based agent training pipelines.