Tool-Star: Het versterken van een multi-tool redeneerder met een LLM-brein via reinforcement learning

Samenvatting

Onlangs hebben grote taalmodellen (LLMs) opmerkelijke redeneervaardigheden getoond via grootschalige reinforcement learning (RL). Het blijft echter een uitdaging om het RL-algoritme te benutten om effectieve multi-tool collaboratieve redenering in LLMs mogelijk te maken. In dit artikel introduceren we Tool-Star, een RL-gebaseerd framework ontworpen om LLMs in staat te stellen autonoom meerdere externe tools aan te roepen tijdens stapsgewijs redeneren. Tool-Star integreert zes soorten tools en omvat systematische ontwerpen in zowel datasynthese als training. Om het gebrek aan tool-gebruiksdata aan te pakken, stellen we een algemene tool-geïntegreerde redeneerdatasynthesepijplijn voor, die tool-geïntegreerde prompting combineert met hint-gebaseerde sampling om automatisch en schaalbaar tool-gebruikstrajecten te genereren. Een daaropvolgend kwaliteitsnormalisatie- en moeilijkheidsbewuste classificatieproces filtert laagkwalitatieve samples eruit en organiseert de dataset van makkelijk naar moeilijk. Bovendien stellen we een tweefasen trainingsframework voor om multi-tool collaboratieve redenering te verbeteren door: (1) cold-start fine-tuning, dat LLMs begeleidt om redeneerpatronen te verkennen via tool-aanroepfeedback; en (2) een multi-tool self-critic RL-algoritme met hiërarchisch beloningsontwerp, dat beloningsbegrip versterkt en effectieve toolcollaboratie bevordert. Experimentele analyses op meer dan 10 uitdagende redeneerbenchmarks benadrukken de effectiviteit en efficiëntie van Tool-Star. De code is beschikbaar op https://github.com/dongguanting/Tool-Star.

English

Recently, large language models (LLMs) have shown remarkable reasoning capabilities via large-scale reinforcement learning (RL). However, leveraging the RL algorithm to empower effective multi-tool collaborative reasoning in LLMs remains an open challenge. In this paper, we introduce Tool-Star, an RL-based framework designed to empower LLMs to autonomously invoke multiple external tools during stepwise reasoning. Tool-Star integrates six types of tools and incorporates systematic designs in both data synthesis and training. To address the scarcity of tool-use data, we propose a general tool-integrated reasoning data synthesis pipeline, which combines tool-integrated prompting with hint-based sampling to automatically and scalably generate tool-use trajectories. A subsequent quality normalization and difficulty-aware classification process filters out low-quality samples and organizes the dataset from easy to hard. Furthermore, we propose a two-stage training framework to enhance multi-tool collaborative reasoning by: (1) cold-start fine-tuning, which guides LLMs to explore reasoning patterns via tool-invocation feedback; and (2) a multi-tool self-critic RL algorithm with hierarchical reward design, which reinforces reward understanding and promotes effective tool collaboration. Experimental analyses on over 10 challenging reasoning benchmarks highlight the effectiveness and efficiency of Tool-Star. The code is available at https://github.com/dongguanting/Tool-Star.

Tool-Star: Het versterken van een multi-tool redeneerder met een LLM-brein via reinforcement learning

Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

Samenvatting

Support