ToolRL: ツール学習に必要なのは報酬のみ

ToolRL: Reward is All Tool Learning Needs

April 16, 2025

著者: Cheng Qian, Emre Can Acikgoz, Qi He, Hongru Wang, Xiusi Chen, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji

cs.AI

要旨

現在の大規模言語モデル（LLM）は、ツール使用能力を獲得するために教師ありファインチューニング（SFT）を経ることが多い。しかし、SFTは未知または複雑なツール使用シナリオへの汎化に苦戦する。最近の強化学習（RL）、特にR1のようなモデルにおける進展は、有望な推論と汎化能力を示している。しかし、ツール使用のための報酬設計は独特の課題を提示する：複数のツールが多様なパラメータで呼び出される可能性があり、回答マッチングのような粗い粒度の報酬信号は、効果的な学習に必要な細かいフィードバックを提供できない。本研究では、RLパラダイム内でのツール選択と適用タスクのための報酬設計に関する最初の包括的な研究を提示する。我々は、報酬戦略の種類、スケール、粒度、および時間的ダイナミクスを体系的に探り、これらの洞察に基づいて、ツール使用タスクに特化した原則に基づく報酬設計を提案し、Group Relative Policy Optimization（GRPO）を使用してLLMを訓練する。多様なベンチマークでの実証評価により、我々のアプローチが堅牢でスケーラブルかつ安定した訓練をもたらし、ベースモデルに対して17%、SFTモデルに対して15%の改善を達成することが示された。これらの結果は、LLMのツール使用能力と汎化性能を向上させるための慎重な報酬設計の重要性を強調している。今後の研究を促進するため、すべてのコードが公開されている。

English

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.