ToolRL: Belohnung ist alles, was Werkzeuglernen braucht

ToolRL: Reward is All Tool Learning Needs

April 16, 2025

Autoren: Cheng Qian, Emre Can Acikgoz, Qi He, Hongru Wang, Xiusi Chen, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji

cs.AI

Zusammenfassung

Aktuelle Large Language Models (LLMs) werden häufig durch überwachtes Fein-Tuning (Supervised Fine-Tuning, SFT) trainiert, um Fähigkeiten zur Werkzeugnutzung zu erlangen. Allerdings hat SFT Schwierigkeiten, sich auf unbekannte oder komplexe Szenarien der Werkzeugnutzung zu verallgemeinern. Jüngste Fortschritte im Bereich des Reinforcement Learning (RL), insbesondere mit R1-ähnlichen Modellen, haben vielversprechende Fähigkeiten in Bezug auf logisches Denken und Generalisierung gezeigt. Dennoch stellt die Belohnungsgestaltung (Reward Design) für die Werkzeugnutzung besondere Herausforderungen dar: Es können mehrere Werkzeuge mit unterschiedlichen Parametern aufgerufen werden, und grobkörnige Belohnungssignale, wie die Übereinstimmung von Antworten, bieten nicht das feinkörnige Feedback, das für effektives Lernen erforderlich ist. In dieser Arbeit präsentieren wir die erste umfassende Studie zur Belohnungsgestaltung für Aufgaben der Werkzeugauswahl und -anwendung innerhalb des RL-Paradigmas. Wir untersuchen systematisch eine breite Palette von Belohnungsstrategien und analysieren deren Typen, Skalen, Granularität und zeitliche Dynamik. Aufbauend auf diesen Erkenntnissen schlagen wir ein prinzipielles Belohnungsdesign vor, das speziell für Aufgaben der Werkzeugnutzung entwickelt wurde, und wenden es an, um LLMs mit Group Relative Policy Optimization (GRPO) zu trainieren. Empirische Auswertungen über diverse Benchmarks zeigen, dass unser Ansatz robustes, skalierbares und stabiles Training ermöglicht und eine Verbesserung von 17 % gegenüber Basismodellen sowie einen Zuwachs von 15 % gegenüber SFT-Modellen erzielt. Diese Ergebnisse unterstreichen die entscheidende Rolle einer durchdachten Belohnungsgestaltung bei der Verbesserung der Werkzeugnutzungsfähigkeiten und der Generalisierungsleistung von LLMs. Alle Codes werden veröffentlicht, um zukünftige Forschung zu erleichtern.

English

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.