Tool-Star: Potenziamento del Ragionatore Multi-Strumento con Cervello LLM tramite Apprendimento per Rinforzo

Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

May 22, 2025

Autori: Guanting Dong, Yifei Chen, Xiaoxi Li, Jiajie Jin, Hongjin Qian, Yutao Zhu, Hangyu Mao, Guorui Zhou, Zhicheng Dou, Ji-Rong Wen

cs.AI

Abstract

Recentemente, i grandi modelli linguistici (LLM) hanno dimostrato notevoli capacità di ragionamento attraverso l'apprendimento per rinforzo su larga scala (RL). Tuttavia, sfruttare l'algoritmo RL per potenziare un ragionamento collaborativo efficace con più strumenti negli LLM rimane una sfida aperta. In questo articolo, introduciamo Tool-Star, un framework basato su RL progettato per consentire agli LLM di invocare autonomamente più strumenti esterni durante il ragionamento passo-passo. Tool-Star integra sei tipi di strumenti e incorpora design sistematici sia nella sintesi dei dati che nell'addestramento. Per affrontare la scarsità di dati sull'uso degli strumenti, proponiamo una pipeline generale per la sintesi di dati di ragionamento integrato con strumenti, che combina il prompting integrato con strumenti e il campionamento basato su suggerimenti per generare automaticamente e in modo scalabile traiettorie di uso degli strumenti. Un successivo processo di normalizzazione della qualità e classificazione basata sulla difficoltà filtra i campioni di bassa qualità e organizza il dataset dal più semplice al più complesso. Inoltre, proponiamo un framework di addestramento in due fasi per migliorare il ragionamento collaborativo con più strumenti: (1) fine-tuning in modalità cold-start, che guida gli LLM a esplorare modelli di ragionamento attraverso il feedback sull'invocazione degli strumenti; e (2) un algoritmo RL multi-strumento con auto-critica e design gerarchico delle ricompense, che rafforza la comprensione delle ricompense e promuove una collaborazione efficace tra gli strumenti. Le analisi sperimentali su oltre 10 benchmark di ragionamento complessi evidenziano l'efficacia e l'efficienza di Tool-Star. Il codice è disponibile all'indirizzo https://github.com/dongguanting/Tool-Star.

English

Recently, large language models (LLMs) have shown remarkable reasoning capabilities via large-scale reinforcement learning (RL). However, leveraging the RL algorithm to empower effective multi-tool collaborative reasoning in LLMs remains an open challenge. In this paper, we introduce Tool-Star, an RL-based framework designed to empower LLMs to autonomously invoke multiple external tools during stepwise reasoning. Tool-Star integrates six types of tools and incorporates systematic designs in both data synthesis and training. To address the scarcity of tool-use data, we propose a general tool-integrated reasoning data synthesis pipeline, which combines tool-integrated prompting with hint-based sampling to automatically and scalably generate tool-use trajectories. A subsequent quality normalization and difficulty-aware classification process filters out low-quality samples and organizes the dataset from easy to hard. Furthermore, we propose a two-stage training framework to enhance multi-tool collaborative reasoning by: (1) cold-start fine-tuning, which guides LLMs to explore reasoning patterns via tool-invocation feedback; and (2) a multi-tool self-critic RL algorithm with hierarchical reward design, which reinforces reward understanding and promotes effective tool collaboration. Experimental analyses on over 10 challenging reasoning benchmarks highlight the effectiveness and efficiency of Tool-Star. The code is available at https://github.com/dongguanting/Tool-Star.