Tool-Star: Potenciando un Razonador Multiherramienta con Cerebro de LLM mediante Aprendizaje por Refuerzo

Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning

May 22, 2025

Autores: Guanting Dong, Yifei Chen, Xiaoxi Li, Jiajie Jin, Hongjin Qian, Yutao Zhu, Hangyu Mao, Guorui Zhou, Zhicheng Dou, Ji-Rong Wen

cs.AI

Resumen

Recientemente, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado capacidades de razonamiento notables mediante el aprendizaje por refuerzo a gran escala (RL, por sus siglas en inglés). Sin embargo, aprovechar el algoritmo de RL para potenciar un razonamiento colaborativo efectivo con múltiples herramientas en los LLMs sigue siendo un desafío abierto. En este artículo, presentamos Tool-Star, un marco basado en RL diseñado para capacitar a los LLMs a invocar de manera autónoma múltiples herramientas externas durante el razonamiento paso a paso. Tool-Star integra seis tipos de herramientas e incorpora diseños sistemáticos tanto en la síntesis de datos como en el entrenamiento. Para abordar la escasez de datos de uso de herramientas, proponemos una canalización general de síntesis de datos de razonamiento integrado con herramientas, que combina el prompting integrado con herramientas con un muestreo basado en pistas para generar automáticamente y de manera escalable trayectorias de uso de herramientas. Un proceso posterior de normalización de calidad y clasificación consciente de la dificultad filtra las muestras de baja calidad y organiza el conjunto de datos de fácil a difícil. Además, proponemos un marco de entrenamiento de dos etapas para mejorar el razonamiento colaborativo con múltiples herramientas mediante: (1) un ajuste fino de arranque en frío, que guía a los LLMs a explorar patrones de razonamiento a través de la retroalimentación de invocación de herramientas; y (2) un algoritmo de RL de autocrítica con múltiples herramientas y diseño de recompensas jerárquico, que refuerza la comprensión de las recompensas y promueve una colaboración efectiva de herramientas. Los análisis experimentales en más de 10 puntos de referencia desafiantes de razonamiento destacan la efectividad y eficiencia de Tool-Star. El código está disponible en https://github.com/dongguanting/Tool-Star.

English

Recently, large language models (LLMs) have shown remarkable reasoning capabilities via large-scale reinforcement learning (RL). However, leveraging the RL algorithm to empower effective multi-tool collaborative reasoning in LLMs remains an open challenge. In this paper, we introduce Tool-Star, an RL-based framework designed to empower LLMs to autonomously invoke multiple external tools during stepwise reasoning. Tool-Star integrates six types of tools and incorporates systematic designs in both data synthesis and training. To address the scarcity of tool-use data, we propose a general tool-integrated reasoning data synthesis pipeline, which combines tool-integrated prompting with hint-based sampling to automatically and scalably generate tool-use trajectories. A subsequent quality normalization and difficulty-aware classification process filters out low-quality samples and organizes the dataset from easy to hard. Furthermore, we propose a two-stage training framework to enhance multi-tool collaborative reasoning by: (1) cold-start fine-tuning, which guides LLMs to explore reasoning patterns via tool-invocation feedback; and (2) a multi-tool self-critic RL algorithm with hierarchical reward design, which reinforces reward understanding and promotes effective tool collaboration. Experimental analyses on over 10 challenging reasoning benchmarks highlight the effectiveness and efficiency of Tool-Star. The code is available at https://github.com/dongguanting/Tool-Star.