Tool-Star: Stärkung eines Multi-Tool-Reasoners mit LLM-Gehirn durch Reinforcement Learning

Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

May 22, 2025

Autoren: Guanting Dong, Yifei Chen, Xiaoxi Li, Jiajie Jin, Hongjin Qian, Yutao Zhu, Hangyu Mao, Guorui Zhou, Zhicheng Dou, Ji-Rong Wen

cs.AI

Zusammenfassung

Kürzlich haben große Sprachmodelle (LLMs) bemerkenswerte Fähigkeiten im Bereich des logischen Denkens durch groß angelegtes Reinforcement Learning (RL) gezeigt. Die Nutzung des RL-Algorithmus, um effektives kollaboratives Denken mit mehreren Werkzeugen in LLMs zu ermöglichen, bleibt jedoch eine offene Herausforderung. In diesem Artikel stellen wir Tool-Star vor, ein RL-basiertes Framework, das darauf abzielt, LLMs zu befähigen, während des schrittweisen Denkprozesses autonom mehrere externe Werkzeuge aufzurufen. Tool-Star integriert sechs Arten von Werkzeugen und beinhaltet systematische Designs sowohl in der Datensynthese als auch im Training. Um den Mangel an Daten zur Werkzeugnutzung zu beheben, schlagen wir eine allgemeine Pipeline zur Synthese von Daten für das Denken mit Werkzeugen vor, die werkzeugintegrierte Prompting mit hinweisbasierter Stichprobenziehung kombiniert, um automatisch und skalierbar Werkzeugnutzungspfade zu generieren. Ein anschließender Prozess der Qualitätsnormalisierung und schwierigkeitsbewussten Klassifizierung filtert minderwertige Proben aus und organisiert den Datensatz von einfach bis schwierig. Darüber hinaus schlagen wir ein zweistufiges Trainingsframework vor, um das kollaborative Denken mit mehreren Werkzeugen zu verbessern durch: (1) Cold-Start-Fine-Tuning, das LLMs anleitet, Denkmuster durch Rückmeldungen zum Werkzeugaufruf zu erkunden; und (2) einen Multi-Tool-Self-Critic-RL-Algorithmus mit hierarchischem Belohnungsdesign, der das Verständnis von Belohnungen verstärkt und eine effektive Werkzeugkollaboration fördert. Experimentelle Analysen auf über 10 anspruchsvollen Denkbenchmarks unterstreichen die Wirksamkeit und Effizienz von Tool-Star. Der Code ist verfügbar unter https://github.com/dongguanting/Tool-Star.

English

Recently, large language models (LLMs) have shown remarkable reasoning capabilities via large-scale reinforcement learning (RL). However, leveraging the RL algorithm to empower effective multi-tool collaborative reasoning in LLMs remains an open challenge. In this paper, we introduce Tool-Star, an RL-based framework designed to empower LLMs to autonomously invoke multiple external tools during stepwise reasoning. Tool-Star integrates six types of tools and incorporates systematic designs in both data synthesis and training. To address the scarcity of tool-use data, we propose a general tool-integrated reasoning data synthesis pipeline, which combines tool-integrated prompting with hint-based sampling to automatically and scalably generate tool-use trajectories. A subsequent quality normalization and difficulty-aware classification process filters out low-quality samples and organizes the dataset from easy to hard. Furthermore, we propose a two-stage training framework to enhance multi-tool collaborative reasoning by: (1) cold-start fine-tuning, which guides LLMs to explore reasoning patterns via tool-invocation feedback; and (2) a multi-tool self-critic RL algorithm with hierarchical reward design, which reinforces reward understanding and promotes effective tool collaboration. Experimental analyses on over 10 challenging reasoning benchmarks highlight the effectiveness and efficiency of Tool-Star. The code is available at https://github.com/dongguanting/Tool-Star.