ToolRL: Recompensa é Tudo que o Aprendizado de Ferramentas Precisa

ToolRL: Reward is All Tool Learning Needs

April 16, 2025

Autores: Cheng Qian, Emre Can Acikgoz, Qi He, Hongru Wang, Xiusi Chen, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji

cs.AI

Resumo

Os atuais Modelos de Linguagem de Grande Escala (LLMs) frequentemente passam por ajuste fino supervisionado (SFT) para adquirir capacidades de uso de ferramentas. No entanto, o SFT enfrenta dificuldades para generalizar em cenários de uso de ferramentas desconhecidos ou complexos. Avanços recentes em aprendizado por reforço (RL), particularmente com modelos do tipo R1, demonstraram habilidades promissoras de raciocínio e generalização. No entanto, o design de recompensas para o uso de ferramentas apresenta desafios únicos: múltiplas ferramentas podem ser invocadas com parâmetros diversos, e sinais de recompensa de baixa granularidade, como correspondência de respostas, falham em fornecer o feedback refinado necessário para um aprendizado eficaz. Neste trabalho, apresentamos o primeiro estudo abrangente sobre o design de recompensas para tarefas de seleção e aplicação de ferramentas dentro do paradigma de RL. Exploramos sistematicamente uma ampla gama de estratégias de recompensa, analisando seus tipos, escalas, granularidade e dinâmicas temporais. Com base nessas análises, propomos um design de recompensas fundamentado para tarefas de uso de ferramentas e o aplicamos para treinar LLMs usando a Otimização de Política Relativa em Grupo (GRPO). Avaliações empíricas em diversos benchmarks demonstram que nossa abordagem resulta em treinamento robusto, escalável e estável, alcançando uma melhoria de 17% sobre os modelos base e um ganho de 15% sobre os modelos SFT. Esses resultados destacam o papel crucial de um design de recompensas bem pensado para aprimorar as capacidades de uso de ferramentas e o desempenho de generalização dos LLMs. Todos os códigos são disponibilizados para facilitar pesquisas futuras.

English

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.