Tool-Star: 強化学習によるLLMを中核としたマルチツール推論エージェントの強化

Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

May 22, 2025

著者: Guanting Dong, Yifei Chen, Xiaoxi Li, Jiajie Jin, Hongjin Qian, Yutao Zhu, Hangyu Mao, Guorui Zhou, Zhicheng Dou, Ji-Rong Wen

cs.AI

要旨

近年、大規模言語モデル（LLM）は、大規模な強化学習（RL）を通じて顕著な推論能力を示してきました。しかし、RLアルゴリズムを活用してLLMにおける効果的なマルチツール協調推論を実現することは、依然として未解決の課題です。本論文では、Tool-StarというRLベースのフレームワークを紹介します。このフレームワークは、LLMが段階的な推論中に複数の外部ツールを自律的に呼び出すことを可能にするために設計されています。Tool-Starは6種類のツールを統合し、データ合成とトレーニングの両方において体系的な設計を取り入れています。 ツール使用データの不足に対処するため、我々は一般的なツール統合推論データ合成パイプラインを提案します。このパイプラインは、ツール統合プロンプトとヒントベースのサンプリングを組み合わせることで、ツール使用の軌跡を自動的かつスケーラブルに生成します。その後、品質の正規化と難易度を考慮した分類プロセスにより、低品質なサンプルを除外し、データセットを易しいものから難しいものへと整理します。 さらに、マルチツール協調推論を強化するために、2段階のトレーニングフレームワークを提案します。具体的には、(1) コールドスタートのファインチューニングにより、ツール呼び出しフィードバックを通じてLLMが推論パターンを探索することを促し、(2) 階層的な報酬設計を備えたマルチツール自己批判RLアルゴリズムにより、報酬の理解を強化し、効果的なツール協力を促進します。10以上の挑戦的な推論ベンチマークでの実験分析により、Tool-Starの有効性と効率性が明らかになりました。コードはhttps://github.com/dongguanting/Tool-Starで公開されています。

English

Recently, large language models (LLMs) have shown remarkable reasoning capabilities via large-scale reinforcement learning (RL). However, leveraging the RL algorithm to empower effective multi-tool collaborative reasoning in LLMs remains an open challenge. In this paper, we introduce Tool-Star, an RL-based framework designed to empower LLMs to autonomously invoke multiple external tools during stepwise reasoning. Tool-Star integrates six types of tools and incorporates systematic designs in both data synthesis and training. To address the scarcity of tool-use data, we propose a general tool-integrated reasoning data synthesis pipeline, which combines tool-integrated prompting with hint-based sampling to automatically and scalably generate tool-use trajectories. A subsequent quality normalization and difficulty-aware classification process filters out low-quality samples and organizes the dataset from easy to hard. Furthermore, we propose a two-stage training framework to enhance multi-tool collaborative reasoning by: (1) cold-start fine-tuning, which guides LLMs to explore reasoning patterns via tool-invocation feedback; and (2) a multi-tool self-critic RL algorithm with hierarchical reward design, which reinforces reward understanding and promotes effective tool collaboration. Experimental analyses on over 10 challenging reasoning benchmarks highlight the effectiveness and efficiency of Tool-Star. The code is available at https://github.com/dongguanting/Tool-Star.