ARLArena : Un Cadre Unifié pour l'Apprentissage par Renforcement Agentique Stable
ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning
February 25, 2026
papers.authors: Xiaoxuan Wang, Han Zhang, Haixin Wang, Yidan Shi, Ruoyan Li, Kaiqiao Han, Chenyi Tong, Haoran Deng, Renliang Sun, Alexander Taylor, Yanqiao Zhu, Jason Cong, Yizhou Sun, Wei Wang
cs.AI
papers.abstract
L'apprentissage par renforcement agentique (ARL) a rapidement gagné en attention en tant que paradigme prometteur pour entraîner des agents à résoudre des tâches interactives complexes à multiples étapes. Malgré des résultats initiaux encourageants, l'ARL reste très instable, conduisant souvent à un effondrement de l'entraînement. Cette instabilité limite l'extensibilité à des environnements plus vastes et à des horizons d'interaction plus longs, et contraint l'exploration systématique des choix de conception algorithmique. Dans cet article, nous proposons d'abord ARLArena, une recette d'entraînement stable et un cadre d'analyse systématique qui examine la stabilité de l'entraînement dans un cadre contrôlé et reproductible. ARLArena construit d'abord un banc d'essai propre et standardisé. Ensuite, nous décomposons la politique de gradient en quatre dimensions de conception fondamentales et évaluons la performance et la stabilité de chaque dimension. Grâce à cette analyse fine, nous distillons une perspective unifiée sur l'ARL et proposons SAMPO, une méthode stable d'optimisation de politique agentique conçue pour atténuer les sources dominantes d'instabilité dans l'ARL. Empiriquement, SAMPO permet un entraînement constamment stable et de bonnes performances sur diverses tâches agentiques. Globalement, cette étude fournit une perspective unifiée de la politique de gradient pour l'ARL et offre des conseils pratiques pour construire des pipelines d'entraînement d'agents basés sur des LLM stables et reproductibles.
English
Agentic reinforcement learning (ARL) has rapidly gained attention as a promising paradigm for training agents to solve complex, multi-step interactive tasks. Despite encouraging early results, ARL remains highly unstable, often leading to training collapse. This instability limits scalability to larger environments and longer interaction horizons, and constrains systematic exploration of algorithmic design choices. In this paper, we first propose ARLArena, a stable training recipe and systematic analysis framework that examines training stability in a controlled and reproducible setting. ARLArena first constructs a clean and standardized testbed. Then, we decompose policy gradient into four core design dimensions and assess the performance and stability of each dimension. Through this fine-grained analysis, we distill a unified perspective on ARL and propose SAMPO, a stable agentic policy optimization method designed to mitigate the dominant sources of instability in ARL. Empirically, SAMPO achieves consistently stable training and strong performance across diverse agentic tasks. Overall, this study provides a unifying policy gradient perspective for ARL and offers practical guidance for building stable and reproducible LLM-based agent training pipelines.