長期的なツール使用エージェントのための強化学習の解明：包括的実装ガイド

要旨

強化学習（RL）は、大規模言語モデル（LLM）を長期的計画が可能な自律エージェントへと進化させる上で不可欠である。しかし、複雑で多段階的な環境においてRLをスケーリングする実用的な方法論は未だ確立されていない。本論文では、多様な制約を満たすためのツール調整を必要とする挑戦的なテストベッドであるTravelPlannerを用いた、体系的な実証研究を提示する。我々は、エージェントのRL設計空間を、報酬設計、モデル規模、データ構成、アルゴリズム選択、環境安定性の5つの軸に沿って分解する。制御実験から得られた7つの主要な知見は以下の通りである：(1) 報酬とアルゴリズムの選択は規模に依存し、小規模モデルは段階的報酬と探索の強化から恩恵を受けるのに対し、大規模モデルは単純な密な報酬で効率的に収束する、(2) 難易度が均衡した約1,000の訓練サンプルが、ドメイン内性能とドメイン外性能の両方において最適点となる、(3) 方策の劣化を防ぐには環境安定性が極めて重要である。我々が抽出した方法論に基づき、RLで訓練したモデルはTravelPlannerにおいて state-of-the-art の性能を達成し、主要なLLMを大幅に上回った。

English

Reinforcement Learning (RL) is essential for evolving Large Language Models (LLMs) into autonomous agents capable of long-horizon planning, yet a practical recipe for scaling RL in complex, multi-turn environments remains elusive. This paper presents a systematic empirical study using TravelPlanner, a challenging testbed requiring tool orchestration to satisfy multifaceted constraints. We decompose the agentic RL design space along 5 axes: reward shaping, model scaling, data composition, algorithm selection, and environmental stability. Our controlled experiments yield 7 key takeaways, e.g., (1) reward and algorithm choices are scale-dependent as smaller models benefit from staged rewards and enhanced exploration, whereas larger models converge efficiently with simpler dense rewards, (2) ~ 1K training samples with a balanced difficulty mixture mark a sweet spot for both in-domain and out-of-domain performance, and (3) environmental stability is critical to prevent policy degradation. Based on our distilled recipe, our RL-trained models achieve state-of-the-art performance on TravelPlanner, significantly outperforming leading LLMs.

長期的なツール使用エージェントのための強化学習の解明：包括的実装ガイド

Demystifying Reinforcement Learning for Long-Horizon Tool-Using Agents: A Comprehensive Recipe

要旨

Support