Otimização de Políticas com Equilíbrio Entrópico Agente

Resumo

Recentemente, o Aprendizado por Reforço Agente (Agentic RL) tem feito progressos significativos no incentivo às capacidades de uso de ferramentas em múltiplas etapas e de longo prazo de agentes web. Enquanto os principais algoritmos de RL Agente exploram autonomamente etapas de chamada de ferramentas com alta incerteza sob a orientação da entropia, a dependência excessiva em sinais de entropia pode impor restrições adicionais, levando ao colapso do treinamento. Neste artigo, investigamos os desafios causados pela entropia e propomos o Otimização de Política com Equilíbrio de Entropia Agente (AEPO), um algoritmo de RL Agente projetado para equilibrar a entropia tanto na fase de execução quanto na atualização da política. O AEPO consiste em dois componentes principais: (1) um mecanismo de execução dinâmico com equilíbrio de entropia que aloca adaptativamente o orçamento de amostragem global e de ramificação por meio de pré-monitoramento de entropia, enquanto impõe uma penalidade de ramificação em etapas consecutivas de chamada de ferramentas com alta entropia para evitar problemas de super-ramificação; e (2) a Otimização de Política com Equilíbrio de Entropia que insere uma operação de parada de gradiente no termo de corte de alta entropia para preservar e redimensionar adequadamente os gradientes em tokens de alta entropia, enquanto incorpora estimativa de vantagem consciente da entropia para priorizar o aprendizado em tokens de alta incerteza. Os resultados em 14 conjuntos de dados desafiadores mostram que o AEPO supera consistentemente 7 algoritmos principais de RL. Com apenas 1K amostras de RL, o Qwen3-14B com AEPO alcança resultados impressionantes: 47,6% no GAIA, 11,2% no Humanity's Last Exam e 43,0% no WebWalker para Pass@1; 65,0% no GAIA, 26,0% no Humanity's Last Exam e 70,0% no WebWalker para Pass@5. Análises adicionais revelam que o AEPO melhora a diversidade de amostragem de execução enquanto mantém a entropia da política estável, facilitando o treinamento escalável de agentes web.

English

Recently, Agentic Reinforcement Learning (Agentic RL) has made significant progress in incentivizing the multi-turn, long-horizon tool-use capabilities of web agents. While mainstream agentic RL algorithms autonomously explore high-uncertainty tool-call steps under the guidance of entropy, excessive reliance on entropy signals can impose further constraints, leading to the training collapse. In this paper, we delve into the challenges caused by entropy and propose the Agentic Entropy-Balanced Policy Optimization (AEPO), an agentic RL algorithm designed to balance entropy in both the rollout and policy update phases. AEPO comprises two core components: (1) a dynamic entropy-balanced rollout mechanism that adaptively allocate global and branch sampling budget through entropy pre-monitoring, while imposing a branch penalty on consecutive high-entropy tool-call steps to prevent over-branching issues; and (2) Entropy-Balanced Policy Optimization that inserts a stop-gradient operation into the high-entropy clipping term to preserve and properly rescale gradients on high-entropy tokens, while incorporating entropy-aware advantage estimation to prioritize learning on high-uncertainty tokens. Results across 14 challenging datasets show that AEPO consistently outperforms 7 mainstream RL algorithms. With just 1K RL samples, Qwen3-14B with AEPO achieves impressive results: 47.6% on GAIA, 11.2% on Humanity's Last Exam, and 43.0% on WebWalker for Pass@1; 65.0% on GAIA, 26.0% on Humanity's Last Exam, and 70.0% on WebWalker for Pass@5. Further analysis reveals that AEPO improves rollout sampling diversity while maintaining stable policy entropy, facilitating scalable web agent training.