Разоблачение обучения с подкреплением для агентов, использующих инструменты в долгосрочных горизонтах: всеобъемлющий рецепт

Demystifying Reinforcement Learning for Long-Horizon Tool-Using Agents: A Comprehensive Recipe

March 23, 2026

Авторы: Xixi Wu, Qianguo Sun, Ruiyang Zhang, Chao Song, Junlong Wu, Yiyan Qi, Hong Cheng

cs.AI

Аннотация

Обучение с подкреплением (RL) играет ключевую роль в преобразовании больших языковых моделей (LLM) в автономные агенты, способные к долгосрочному планированию, однако практическая методика масштабирования RL в сложных, многоходовых средах остается неразработанной. В данной статье представлено систематическое эмпирическое исследование с использованием TravelPlanner — сложного тестового набора, требующего координации инструментов для удовлетворения многогранных ограничений. Мы декомпозируем пространство проектирования агентного RL по пяти направлениям: формирование функции вознаграждения, масштабирование модели, состав данных, выбор алгоритма и стабильность среды. Наши контролируемые эксперименты выявили семь ключевых выводов, например: (1) выбор вознаграждения и алгоритма зависит от масштаба, поскольку меньшие модели выигрывают от поэтапных вознаграждений и расширенного исследования, тогда как более крупные модели эффективно сходятся при использовании простых плотных вознаграждений; (2) ~1000 обучающих примеров со сбалансированной смесью сложности представляют собой оптимальную точку для производительности как внутри домена, так и за его пределами; и (3) стабильность среды критически важна для предотвращения деградации политики. На основе нашей обобщенной методики наши модели, обученные с помощью RL, демонстрируют наилучшие результаты на TravelPlanner, значительно превосходя ведущие LLM.

English

Reinforcement Learning (RL) is essential for evolving Large Language Models (LLMs) into autonomous agents capable of long-horizon planning, yet a practical recipe for scaling RL in complex, multi-turn environments remains elusive. This paper presents a systematic empirical study using TravelPlanner, a challenging testbed requiring tool orchestration to satisfy multifaceted constraints. We decompose the agentic RL design space along 5 axes: reward shaping, model scaling, data composition, algorithm selection, and environmental stability. Our controlled experiments yield 7 key takeaways, e.g., (1) reward and algorithm choices are scale-dependent as smaller models benefit from staged rewards and enhanced exploration, whereas larger models converge efficiently with simpler dense rewards, (2) ~ 1K training samples with a balanced difficulty mixture mark a sweet spot for both in-domain and out-of-domain performance, and (3) environmental stability is critical to prevent policy degradation. Based on our distilled recipe, our RL-trained models achieve state-of-the-art performance on TravelPlanner, significantly outperforming leading LLMs.