ToolRL: La Ricompensa è Tutto Ciò di Cui ha Bisogno l'Apprendimento degli Strumenti

ToolRL: Reward is All Tool Learning Needs

April 16, 2025

Autori: Cheng Qian, Emre Can Acikgoz, Qi He, Hongru Wang, Xiusi Chen, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji

cs.AI

Abstract

Gli attuali Modelli Linguistici di Grande Dimensione (LLM) spesso vengono sottoposti a fine-tuning supervisionato (SFT) per acquisire capacità di utilizzo di strumenti. Tuttavia, l'SFT fatica a generalizzare in scenari di utilizzo di strumenti non familiari o complessi. I recenti progressi nell'apprendimento per rinforzo (RL), in particolare con modelli simili a R1, hanno dimostrato promettenti capacità di ragionamento e generalizzazione. Tuttavia, la progettazione delle ricompense per l'uso di strumenti presenta sfide uniche: più strumenti possono essere invocati con parametri diversi, e segnali di ricompensa grossolani, come la corrispondenza delle risposte, non offrono il feedback fine necessario per un apprendimento efficace. In questo lavoro, presentiamo il primo studio completo sulla progettazione delle ricompense per compiti di selezione e applicazione di strumenti all'interno del paradigma RL. Esploriamo sistematicamente una vasta gamma di strategie di ricompensa, analizzandone tipi, scale, granularità e dinamiche temporali. Basandoci su queste intuizioni, proponiamo una progettazione delle ricompense basata su principi specifici per compiti di utilizzo di strumenti e la applichiamo per addestrare LLM utilizzando l'Ottimizzazione Relativa delle Politiche di Gruppo (GRPO). Le valutazioni empiriche su diversi benchmark dimostrano che il nostro approccio produce un addestramento robusto, scalabile e stabile, ottenendo un miglioramento del 17% rispetto ai modelli base e un guadagno del 15% rispetto ai modelli SFT. Questi risultati evidenziano il ruolo cruciale di una progettazione attenta delle ricompense nel migliorare le capacità di utilizzo di strumenti e le prestazioni di generalizzazione degli LLM. Tutti i codici sono rilasciati per facilitare la ricerca futura.

English

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.