ARLArena: Um Framework Unificado para Aprendizagem por Reforço Agêntica Estável
ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning
February 25, 2026
Autores: Xiaoxuan Wang, Han Zhang, Haixin Wang, Yidan Shi, Ruoyan Li, Kaiqiao Han, Chenyi Tong, Haoran Deng, Renliang Sun, Alexander Taylor, Yanqiao Zhu, Jason Cong, Yizhou Sun, Wei Wang
cs.AI
Resumo
O aprendizado por reforço agentivo (ARL) rapidamente ganhou atenção como um paradigma promissor para treinar agentes na resolução de tarefas interativas complexas e multi-etapa. Apesar de resultados iniciais encorajadores, o ARL permanece altamente instável, frequentemente levando a um colapso do treinamento. Essa instabilidade limita a escalabilidade para ambientes maiores e horizontes de interação mais longos, e restringe a exploração sistemática de escolhas de design algorítmico. Neste artigo, propomos primeiro o ARLArena, uma receita de treinamento estável e uma estrutura de análise sistemática que examina a estabilidade do treinamento em um ambiente controlado e reproduzível. O ARLArena primeiro constrói um banco de testes limpo e padronizado. Em seguida, decompomos o gradiente de política em quatro dimensões centrais de design e avaliamos o desempenho e a estabilidade de cada dimensão. Por meio dessa análise refinada, destilamos uma perspectiva unificada sobre o ARL e propomos o SAMPO, um método estável de otimização de política agentiva projetado para mitigar as principais fontes de instabilidade no ARL. Empiricamente, o SAMPO alcança treinamento consistentemente estável e alto desempenho em diversas tarefas agentivas. No geral, este estudo fornece uma perspectiva unificada do gradiente de política para o ARL e oferece orientação prática para a construção de pipelines de treinamento de agentes baseados em LLM que sejam estáveis e reproduzíveis.
English
Agentic reinforcement learning (ARL) has rapidly gained attention as a promising paradigm for training agents to solve complex, multi-step interactive tasks. Despite encouraging early results, ARL remains highly unstable, often leading to training collapse. This instability limits scalability to larger environments and longer interaction horizons, and constrains systematic exploration of algorithmic design choices. In this paper, we first propose ARLArena, a stable training recipe and systematic analysis framework that examines training stability in a controlled and reproducible setting. ARLArena first constructs a clean and standardized testbed. Then, we decompose policy gradient into four core design dimensions and assess the performance and stability of each dimension. Through this fine-grained analysis, we distill a unified perspective on ARL and propose SAMPO, a stable agentic policy optimization method designed to mitigate the dominant sources of instability in ARL. Empirically, SAMPO achieves consistently stable training and strong performance across diverse agentic tasks. Overall, this study provides a unifying policy gradient perspective for ARL and offers practical guidance for building stable and reproducible LLM-based agent training pipelines.