Tool-Star : Renforcement des capacités de raisonnement multi-outils des LLM via l'apprentissage par renforcement

Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

May 22, 2025

Auteurs: Guanting Dong, Yifei Chen, Xiaoxi Li, Jiajie Jin, Hongjin Qian, Yutao Zhu, Hangyu Mao, Guorui Zhou, Zhicheng Dou, Ji-Rong Wen

cs.AI

Résumé

Récemment, les grands modèles de langage (LLMs) ont démontré des capacités de raisonnement remarquables grâce à l'apprentissage par renforcement (RL) à grande échelle. Cependant, exploiter l'algorithme de RL pour renforcer le raisonnement collaboratif multi-outil efficace dans les LLMs reste un défi ouvert. Dans cet article, nous présentons Tool-Star, un framework basé sur RL conçu pour permettre aux LLMs d'invoquer de manière autonome plusieurs outils externes lors d'un raisonnement étape par étape. Tool-Star intègre six types d'outils et incorpore des conceptions systématiques à la fois dans la synthèse des données et dans l'entraînement. Pour pallier la pénurie de données d'utilisation d'outils, nous proposons un pipeline général de synthèse de données de raisonnement intégrant des outils, qui combine l'incitation intégrée d'outils avec un échantillonnage basé sur des indices pour générer automatiquement et de manière scalable des trajectoires d'utilisation d'outils. Un processus ultérieur de normalisation de la qualité et de classification sensible à la difficulté filtre les échantillons de faible qualité et organise le jeu de données du plus facile au plus difficile. De plus, nous proposons un framework d'entraînement en deux étapes pour améliorer le raisonnement collaboratif multi-outil en : (1) un fine-tuning de démarrage à froid, qui guide les LLMs à explorer des modèles de raisonnement via des retours d'invocation d'outils ; et (2) un algorithme de RL auto-critique multi-outil avec une conception hiérarchique de récompense, qui renforce la compréhension des récompenses et favorise une collaboration efficace des outils. Les analyses expérimentales sur plus de 10 benchmarks de raisonnement difficiles mettent en évidence l'efficacité et l'efficience de Tool-Star. Le code est disponible à l'adresse https://github.com/dongguanting/Tool-Star.

English

Recently, large language models (LLMs) have shown remarkable reasoning capabilities via large-scale reinforcement learning (RL). However, leveraging the RL algorithm to empower effective multi-tool collaborative reasoning in LLMs remains an open challenge. In this paper, we introduce Tool-Star, an RL-based framework designed to empower LLMs to autonomously invoke multiple external tools during stepwise reasoning. Tool-Star integrates six types of tools and incorporates systematic designs in both data synthesis and training. To address the scarcity of tool-use data, we propose a general tool-integrated reasoning data synthesis pipeline, which combines tool-integrated prompting with hint-based sampling to automatically and scalably generate tool-use trajectories. A subsequent quality normalization and difficulty-aware classification process filters out low-quality samples and organizes the dataset from easy to hard. Furthermore, we propose a two-stage training framework to enhance multi-tool collaborative reasoning by: (1) cold-start fine-tuning, which guides LLMs to explore reasoning patterns via tool-invocation feedback; and (2) a multi-tool self-critic RL algorithm with hierarchical reward design, which reinforces reward understanding and promotes effective tool collaboration. Experimental analyses on over 10 challenging reasoning benchmarks highlight the effectiveness and efficiency of Tool-Star. The code is available at https://github.com/dongguanting/Tool-Star.