Агентная Оптимизация Политик с Подкреплением

Аннотация

Крупномасштабное обучение с подкреплением с верифицируемыми наградами (RLVR) продемонстрировало свою эффективность в раскрытии потенциала больших языковых моделей (LLM) для задач одношагового рассуждения. В реалистичных сценариях рассуждений LLM часто могут использовать внешние инструменты для помощи в решении задач. Однако современные алгоритмы обучения с подкреплением недостаточно эффективно балансируют внутренние способности моделей к долгосрочному рассуждению и их умение взаимодействовать с инструментами в многошаговых процессах. Чтобы устранить этот разрыв, мы предлагаем Agentic Reinforced Policy Optimization (ARPO) — новый агентный алгоритм обучения с подкреплением, разработанный для обучения многошаговых агентов на основе LLM. В ходе предварительных экспериментов мы наблюдаем, что LLM склонны демонстрировать высоко неопределенное поведение, характеризующееся увеличением энтропии распределения генерируемых токенов сразу после взаимодействия с внешними инструментами. Вдохновленные этим наблюдением, ARPO включает механизм адаптивного развертывания на основе энтропии, динамически балансируя глобальную выборку траекторий и пошаговую выборку, тем самым способствуя исследованию на шагах с высокой неопределенностью после использования инструментов. Благодаря интеграции оценки атрибуции преимуществ, ARPO позволяет LLM усваивать различия в преимуществах в пошаговых взаимодействиях с инструментами. Наши эксперименты на 13 сложных бенчмарках в областях вычислительного рассуждения, рассуждения на основе знаний и глубокого поиска демонстрируют превосходство ARPO над алгоритмами обучения с подкреплением на уровне траекторий. Примечательно, что ARPO достигает улучшенной производительности, используя лишь половину бюджета на использование инструментов, требуемого существующими методами, предлагая масштабируемое решение для согласования агентов на основе LLM с динамическими средами в реальном времени. Наш код и наборы данных доступны по адресу https://github.com/dongguanting/ARPO.

English

Large-scale reinforcement learning with verifiable rewards (RLVR) has demonstrated its effectiveness in harnessing the potential of large language models (LLMs) for single-turn reasoning tasks. In realistic reasoning scenarios, LLMs can often utilize external tools to assist in task-solving processes. However, current RL algorithms inadequately balance the models' intrinsic long-horizon reasoning capabilities and their proficiency in multi-turn tool interactions. To bridge this gap, we propose Agentic Reinforced Policy Optimization (ARPO), a novel agentic RL algorithm tailored for training multi-turn LLM-based agents. Through preliminary experiments, we observe that LLMs tend to exhibit highly uncertain behavior, characterized by an increase in the entropy distribution of generated tokens, immediately following interactions with external tools. Motivated by this observation, ARPO incorporates an entropy-based adaptive rollout mechanism, dynamically balancing global trajectory sampling and step-level sampling, thereby promoting exploration at steps with high uncertainty after tool usage. By integrating an advantage attribution estimation, ARPO enables LLMs to internalize advantage differences in stepwise tool-use interactions. Our experiments across 13 challenging benchmarks in computational reasoning, knowledge reasoning, and deep search domains demonstrate ARPO's superiority over trajectory-level RL algorithms. Remarkably, ARPO achieves improved performance using only half of the tool-use budget required by existing methods, offering a scalable solution for aligning LLM-based agents with real-time dynamic environments. Our code and datasets are released at https://github.com/dongguanting/ARPO