ToolRL: Награда — это всё, что нужно для обучения работе с инструментами

ToolRL: Reward is All Tool Learning Needs

April 16, 2025

Авторы: Cheng Qian, Emre Can Acikgoz, Qi He, Hongru Wang, Xiusi Chen, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji

cs.AI

Аннотация

Современные крупные языковые модели (LLM) часто проходят контролируемую тонкую настройку (SFT) для приобретения навыков использования инструментов. Однако SFT плохо справляется с обобщением в незнакомых или сложных сценариях применения инструментов. Недавние достижения в области обучения с подкреплением (RL), особенно с моделями, подобными R1, продемонстрировали многообещающие способности к рассуждению и обобщению. Тем не менее, проектирование вознаграждений для использования инструментов представляет уникальные сложности: может быть вызвано несколько инструментов с различными параметрами, а грубые сигналы вознаграждения, такие как совпадение ответов, не обеспечивают детализированной обратной связи, необходимой для эффективного обучения. В данной работе мы представляем первое всестороннее исследование проектирования вознаграждений для задач выбора и применения инструментов в рамках парадигмы RL. Мы систематически исследуем широкий спектр стратегий вознаграждения, анализируя их типы, масштабы, детализацию и временную динамику. На основе этих наблюдений мы предлагаем принципиальное проектирование вознаграждений, адаптированное для задач использования инструментов, и применяем его для обучения LLM с использованием оптимизации политики на основе групповых относительных показателей (GRPO). Эмпирические оценки на различных тестовых наборах демонстрируют, что наш подход обеспечивает устойчивое, масштабируемое и стабильное обучение, достигая улучшения на 17% по сравнению с базовыми моделями и на 15% по сравнению с моделями SFT. Эти результаты подчеркивают критическую роль продуманного проектирования вознаграждений в улучшении способностей LLM к использованию инструментов и их обобщающей производительности. Все коды опубликованы для содействия будущим исследованиям.

English

Current Large Language Models (LLMs) often undergo supervised fine-tuning (SFT) to acquire tool use capabilities. However, SFT struggles to generalize to unfamiliar or complex tool use scenarios. Recent advancements in reinforcement learning (RL), particularly with R1-like models, have demonstrated promising reasoning and generalization abilities. Yet, reward design for tool use presents unique challenges: multiple tools may be invoked with diverse parameters, and coarse-grained reward signals, such as answer matching, fail to offer the finegrained feedback required for effective learning. In this work, we present the first comprehensive study on reward design for tool selection and application tasks within the RL paradigm. We systematically explore a wide range of reward strategies, analyzing their types, scales, granularity, and temporal dynamics. Building on these insights, we propose a principled reward design tailored for tool use tasks and apply it to train LLMs using Group Relative Policy Optimization (GRPO). Empirical evaluations across diverse benchmarks demonstrate that our approach yields robust, scalable, and stable training, achieving a 17% improvement over base models and a 15% gain over SFT models. These results highlight the critical role of thoughtful reward design in enhancing the tool use capabilities and generalization performance of LLMs. All the codes are released to facilitate future research.