ToolRL: La Recompensa es Todo lo que el Aprendizaje de Herramientas Necesita

ToolRL: Reward is All Tool Learning Needs

April 16, 2025

Autores: Cheng Qian, Emre Can Acikgoz, Qi He, Hongru Wang, Xiusi Chen, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji

cs.AI

Resumen

Los actuales Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) suelen someterse a un ajuste fino supervisado (SFT, por sus siglas en inglés) para adquirir capacidades de uso de herramientas. Sin embargo, el SFT tiene dificultades para generalizar en escenarios de uso de herramientas desconocidos o complejos. Los avances recientes en aprendizaje por refuerzo (RL, por sus siglas en inglés), particularmente con modelos tipo R1, han demostrado habilidades prometedoras de razonamiento y generalización. No obstante, el diseño de recompensas para el uso de herramientas presenta desafíos únicos: múltiples herramientas pueden ser invocadas con parámetros diversos, y las señales de recompensa de grano grueso, como la coincidencia de respuestas, no ofrecen la retroalimentación detallada necesaria para un aprendizaje efectivo. En este trabajo, presentamos el primer estudio exhaustivo sobre el diseño de recompensas para tareas de selección y aplicación de herramientas dentro del paradigma de RL. Exploramos sistemáticamente una amplia gama de estrategias de recompensa, analizando sus tipos, escalas, granularidad y dinámica temporal. Basándonos en estos hallazgos, proponemos un diseño de recompensas fundamentado y adaptado para tareas de uso de herramientas, y lo aplicamos para entrenar LLMs utilizando la Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés). Las evaluaciones empíricas en diversos benchmarks demuestran que nuestro enfoque produce un entrenamiento robusto, escalable y estable, logrando una mejora del 17% sobre los modelos base y un 15% sobre los modelos SFT. Estos resultados resaltan el papel crucial de un diseño de recompensas cuidadoso para mejorar las capacidades de uso de herramientas y el rendimiento de generalización de los LLMs. Todo el código se ha liberado para facilitar futuras investigaciones.

English

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.