APPO: Otimização de Política Procedural Agêntica

Resumo

Avanços recentes na Aprendizagem por Reforço (AR) Agêntica melhoraram substancialmente as capacidades de uso de ferramentas em múltiplas rodadas de agentes baseados em grandes modelos de linguagem. No entanto, a maioria dos métodos existentes atribui crédito sobre unidades heurísticas grosseiras, como limites de chamadas de ferramentas ou fluxos de trabalho fixos, dificultando a identificação de quais decisões intermediárias influenciam os resultados subsequentes. Neste trabalho, estudamos a AR agêntica sob duas perspectivas: onde ramificar e como atribuir crédito após a ramificação. Nossa análise piloto mostra que pontos de decisão influentes estão amplamente distribuídos ao longo da sequência gerada, em vez de concentrados nas chamadas de ferramentas, enquanto a entropia de tokens por si só não reflete de forma confiável seu impacto nos resultados finais. Motivados por essas observações, propomos a Otimização de Política Procedimental Agêntica (APPO), que desloca a ramificação e a atribuição de crédito de unidades grosseiras de interação para pontos de decisão refinados na sequência. A APPO seleciona locais de ramificação usando uma Pontuação de Ramificação que combina a incerteza do token com ganhos de verossimilhança induzidos pela política em continuações subsequentes, permitindo uma exploração mais direcionada enquanto filtra posições espúrias de alta entropia. Ela ainda introduz o escalonamento de vantagem no nível do procedimento para distribuir melhor o crédito entre rollouts ramificados. Experimentos em 13 benchmarks mostram que a APPO melhora consistentemente bases fortes de AR agêntica em quase 4 pontos, mantendo chamadas de ferramentas eficientes e a interpretabilidade do comportamento.

English

Recent advances in agentic Reinforcement Learning (RL) have substantially improved the multi-turn tool-use capabilities of large language model agents. However, most existing methods assign credit over coarse heuristic units, such as tool-call boundaries or fixed workflows, making it difficult to identify which intermediate decisions influence downstream outcomes. In this work, we study agentic RL from two perspectives: where to branch and how to assign credit after branching. Our pilot analysis shows that influential decision points are broadly distributed throughout the generated sequence rather than concentrated at tool calls, while token entropy alone does not reliably reflect their impact on final outcomes. Motivated by these observations, we propose Agentic Procedural Policy Optimization (APPO), which shifts branching and credit assignment from coarse interaction units to fine-grained decision points in the sequence. APPO selects branching locations using a Branching Score that combines token uncertainty with policy-induced likelihood gains of subsequent continuations, enabling more targeted exploration while filtering out spurious high-entropy positions. It further introduces procedure-level advantage scaling to better distribute credit across branched rollouts. Experiments on 13 benchmarks show that APPO consistently improves strong agentic RL baselines by nearly 4 points, while keeping efficient tool-calls and maintaining behavior interpretability.