ToolRL : La récompense est tout ce dont l'apprentissage des outils a besoin

ToolRL: Reward is All Tool Learning Needs

April 16, 2025

Auteurs: Cheng Qian, Emre Can Acikgoz, Qi He, Hongru Wang, Xiusi Chen, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji

cs.AI

Résumé

Les grands modèles de langage (LLM) actuels subissent souvent un affinage supervisé (SFT) pour acquérir des capacités d'utilisation d'outils. Cependant, le SFT peine à généraliser à des scénarios d'utilisation d'outils inconnus ou complexes. Les récents progrès en apprentissage par renforcement (RL), en particulier avec des modèles de type R1, ont démontré des capacités prometteuses de raisonnement et de généralisation. Pourtant, la conception de récompenses pour l'utilisation d'outils présente des défis uniques : plusieurs outils peuvent être invoqués avec des paramètres divers, et les signaux de récompense grossiers, tels que la correspondance des réponses, ne fournissent pas le retour d'information fin nécessaire à un apprentissage efficace. Dans ce travail, nous présentons la première étude complète sur la conception de récompenses pour les tâches de sélection et d'application d'outils dans le paradigme du RL. Nous explorons systématiquement une large gamme de stratégies de récompense, en analysant leurs types, échelles, granularité et dynamiques temporelles. Sur la base de ces observations, nous proposons une conception de récompense structurée, adaptée aux tâches d'utilisation d'outils, et l'appliquons pour entraîner des LLM en utilisant l'Optimisation de Politique Relative par Groupe (GRPO). Les évaluations empiriques sur divers benchmarks démontrent que notre approche permet un entraînement robuste, évolutif et stable, avec une amélioration de 17 % par rapport aux modèles de base et un gain de 15 % par rapport aux modèles SFT. Ces résultats soulignent le rôle crucial d'une conception réfléchie des récompenses pour améliorer les capacités d'utilisation d'outils et la performance de généralisation des LLM. Tous les codes sont publiés pour faciliter les recherches futures.

English

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.