Agentische Verstärkte Politikoptimierung

papers.abstract

Groß angelegtes Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat seine Wirksamkeit bei der Nutzung des Potenzials großer Sprachmodelle (LLMs) für Einzel-Schlussfolgerungsaufgaben unter Beweis gestellt. In realistischen Szenarien der Schlussfolgerung können LLMs oft externe Werkzeuge nutzen, um bei der Aufgabenlösung zu unterstützen. Allerdings balancieren aktuelle RL-Algorithmen die intrinsischen Fähigkeiten der Modelle zur langfristigen Schlussfolgerung und ihre Kompetenz in mehrschrittigen Werkzeuginteraktionen unzureichend aus. Um diese Lücke zu schließen, schlagen wir Agentic Reinforced Policy Optimization (ARPO) vor, einen neuartigen agentenbasierten RL-Algorithmus, der speziell für das Training von mehrschrittigen LLM-basierten Agenten entwickelt wurde. Durch vorläufige Experimente beobachten wir, dass LLMs dazu neigen, unmittelbar nach Interaktionen mit externen Werkzeugen ein stark unsicheres Verhalten zu zeigen, das durch eine Zunahme der Entropieverteilung der generierten Tokens gekennzeichnet ist. Motiviert durch diese Beobachtung integriert ARPO einen entropiebasierten adaptiven Rollout-Mechanismus, der globales Trajektorien-Sampling und schrittweises Sampling dynamisch ausbalanciert und dadurch die Exploration in Schritten mit hoher Unsicherheit nach der Werkzeugnutzung fördert. Durch die Integration einer Vorteilsattributionsschätzung ermöglicht ARPO LLMs, Vorteilsunterschiede in schrittweisen Werkzeuginteraktionen zu internalisieren. Unsere Experimente über 13 anspruchsvolle Benchmarks in den Bereichen rechnerische Schlussfolgerung, Wissensschlussfolgerung und Tiefensuche demonstrieren die Überlegenheit von ARPO gegenüber Trajektorien-basierten RL-Algorithmen. Bemerkenswerterweise erreicht ARPO eine verbesserte Leistung mit nur der Hälfte des Werkzeugnutzungsbudgets, das von bestehenden Methoden benötigt wird, und bietet somit eine skalierbare Lösung für die Anpassung von LLM-basierten Agenten an Echtzeit-Dynamiken. Unser Code und unsere Datensätze sind unter https://github.com/dongguanting/ARPO veröffentlicht.

English

Large-scale reinforcement learning with verifiable rewards (RLVR) has demonstrated its effectiveness in harnessing the potential of large language models (LLMs) for single-turn reasoning tasks. In realistic reasoning scenarios, LLMs can often utilize external tools to assist in task-solving processes. However, current RL algorithms inadequately balance the models' intrinsic long-horizon reasoning capabilities and their proficiency in multi-turn tool interactions. To bridge this gap, we propose Agentic Reinforced Policy Optimization (ARPO), a novel agentic RL algorithm tailored for training multi-turn LLM-based agents. Through preliminary experiments, we observe that LLMs tend to exhibit highly uncertain behavior, characterized by an increase in the entropy distribution of generated tokens, immediately following interactions with external tools. Motivated by this observation, ARPO incorporates an entropy-based adaptive rollout mechanism, dynamically balancing global trajectory sampling and step-level sampling, thereby promoting exploration at steps with high uncertainty after tool usage. By integrating an advantage attribution estimation, ARPO enables LLMs to internalize advantage differences in stepwise tool-use interactions. Our experiments across 13 challenging benchmarks in computational reasoning, knowledge reasoning, and deep search domains demonstrate ARPO's superiority over trajectory-level RL algorithms. Remarkably, ARPO achieves improved performance using only half of the tool-use budget required by existing methods, offering a scalable solution for aligning LLM-based agents with real-time dynamic environments. Our code and datasets are released at https://github.com/dongguanting/ARPO