APPO: Агентная процедурная оптимизация политики

Аннотация

Последние достижения в области агентного обучения с подкреплением (Reinforcement Learning, RL) существенно улучшили многораундовые способности больших языковых моделей-агентов к использованию инструментов. Однако большинство существующих методов распределяет кредит на основе грубых эвристических единиц, таких как границы вызовов инструментов или фиксированные рабочие процессы, что затрудняет идентификацию того, какие промежуточные решения влияют на итоговые результаты. В данной работе мы исследуем агентное RL с двух точек зрения: где выполнять ветвление и как назначать кредит после ветвления. Наш пилотный анализ показывает, что влиятельные точки принятия решений широко распределены по всей сгенерированной последовательности, а не сконцентрированы на вызовах инструментов, при этом энтропия токенов сама по себе не отражает их влияние на конечные результаты. Руководствуясь этими наблюдениями, мы предлагаем Agentic Procedural Policy Optimization (APPO), который переносит ветвление и назначение кредита с грубых единиц взаимодействия на мелкозернистые точки принятия решений в последовательности. APPO выбирает места ветвления с помощью показателя ветвления (Branching Score), который объединяет неопределенность токенов с обусловленными политикой приростами правдоподобия последующих продолжений, что обеспечивает более целенаправленное исследование, отфильтровывая ложные позиции с высокой энтропией. Кроме того, вводится масштабирование преимуществ на уровне процедуры (procedure-level advantage scaling) для более эффективного распределения кредита между разветвленными траекториями. Эксперименты на 13 эталонных тестах показывают, что APPO последовательно улучшает сильные агентные RL-базисы почти на 4 пункта, сохраняя при этом эффективность вызовов инструментов и интерпретируемость поведения.

English

Recent advances in agentic Reinforcement Learning (RL) have substantially improved the multi-turn tool-use capabilities of large language model agents. However, most existing methods assign credit over coarse heuristic units, such as tool-call boundaries or fixed workflows, making it difficult to identify which intermediate decisions influence downstream outcomes. In this work, we study agentic RL from two perspectives: where to branch and how to assign credit after branching. Our pilot analysis shows that influential decision points are broadly distributed throughout the generated sequence rather than concentrated at tool calls, while token entropy alone does not reliably reflect their impact on final outcomes. Motivated by these observations, we propose Agentic Procedural Policy Optimization (APPO), which shifts branching and credit assignment from coarse interaction units to fine-grained decision points in the sequence. APPO selects branching locations using a Branching Score that combines token uncertainty with policy-induced likelihood gains of subsequent continuations, enabling more targeted exploration while filtering out spurious high-entropy positions. It further introduces procedure-level advantage scaling to better distribute credit across branched rollouts. Experiments on 13 benchmarks show that APPO consistently improves strong agentic RL baselines by nearly 4 points, while keeping efficient tool-calls and maintaining behavior interpretability.