ARLArena: Un Framework Unificato per l'Apprendimento per Rinforzo Agente Stabile
ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning
February 25, 2026
Autori: Xiaoxuan Wang, Han Zhang, Haixin Wang, Yidan Shi, Ruoyan Li, Kaiqiao Han, Chenyi Tong, Haoran Deng, Renliang Sun, Alexander Taylor, Yanqiao Zhu, Jason Cong, Yizhou Sun, Wei Wang
cs.AI
Abstract
L'apprendimento per rinforzo agentico (ARL) ha rapidamente attirato l'attenzione come paradigma promettente per addestrare agenti a risolvere compiti interattivi complessi e multi-step. Nonostante i primi risultati incoraggianti, l'ARL rimane estremamente instabile, portando spesso a un collasso dell'addestramento. Questa instabilità ne limita la scalabilità ad ambienti più grandi e ad orizzonti interattivi più lunghi, e vincola l'esplorazione sistematica delle scelte di progettazione algoritmica. In questo articolo, proponiamo innanzitutto ARLArena, una ricetta di addestramento stabile e un framework di analisi sistematica che esamina la stabilità dell'addestramento in un setting controllato e riproducibile. ARLArena costruisce dapprima un banco di prova pulito e standardizzato. Successivamente, scomponiamo il policy gradient in quattro dimensioni di progettazione fondamentali e valutiamo le prestazioni e la stabilità di ciascuna dimensione. Attraverso questa analisi granulare, distilliamo una prospettiva unificata sull'ARL e proponiamo SAMPO, un metodo di ottimizzazione delle politiche agentiche stabile, progettato per mitigare le principali fonti di instabilità nell'ARL. Empiricamente, SAMPO raggiunge un addestramento costantemente stabile e prestazioni solide su una varietà di compiti agentici. Nel complesso, questo studio fornisce una prospettiva unificante del policy gradient per l'ARL e offre indicazioni pratiche per costruire pipeline di addestramento di agenti basati su LLM stabili e riproducibili.
English
Agentic reinforcement learning (ARL) has rapidly gained attention as a promising paradigm for training agents to solve complex, multi-step interactive tasks. Despite encouraging early results, ARL remains highly unstable, often leading to training collapse. This instability limits scalability to larger environments and longer interaction horizons, and constrains systematic exploration of algorithmic design choices. In this paper, we first propose ARLArena, a stable training recipe and systematic analysis framework that examines training stability in a controlled and reproducible setting. ARLArena first constructs a clean and standardized testbed. Then, we decompose policy gradient into four core design dimensions and assess the performance and stability of each dimension. Through this fine-grained analysis, we distill a unified perspective on ARL and propose SAMPO, a stable agentic policy optimization method designed to mitigate the dominant sources of instability in ARL. Empirically, SAMPO achieves consistently stable training and strong performance across diverse agentic tasks. Overall, this study provides a unifying policy gradient perspective for ARL and offers practical guidance for building stable and reproducible LLM-based agent training pipelines.