ToolLLM: Facilitando Modelos de Linguagem de Grande Escala a Dominar Mais de 16.000 APIs do Mundo Real

ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

July 31, 2023

Autores: Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu, Lan Yan, Yaxi Lu, Yankai Lin, Xin Cong, Xiangru Tang, Bill Qian, Sihan Zhao, Runchu Tian, Ruobing Xie, Jie Zhou, Mark Gerstein, Dahai Li, Zhiyuan Liu, Maosong Sun

cs.AI

Resumo

Apesar dos avanços dos modelos de linguagem de grande escala (LLMs) de código aberto e suas variantes, como LLaMA e Vicuna, eles ainda são significativamente limitados na execução de tarefas de nível superior, como seguir instruções humanas para usar ferramentas externas (APIs). Isso ocorre porque o ajuste de instruções atual foca principalmente em tarefas básicas de linguagem, em vez do domínio de uso de ferramentas. Isso contrasta com os LLMs de última geração (SOTA), como o ChatGPT, que demonstraram excelentes capacidades de uso de ferramentas, mas, infelizmente, são de código fechado. Para facilitar as capacidades de uso de ferramentas em LLMs de código aberto, introduzimos o ToolLLM, um framework geral de uso de ferramentas que abrange construção de dados, treinamento de modelos e avaliação. Primeiro, apresentamos o ToolBench, um conjunto de dados de ajuste de instruções para uso de ferramentas, criado automaticamente usando o ChatGPT. Especificamente, coletamos 16.464 APIs RESTful do mundo real, abrangendo 49 categorias do RapidAPI Hub, e então solicitamos ao ChatGPT que gere diversas instruções humanas envolvendo essas APIs, cobrindo cenários de uso de uma única ferramenta e de múltiplas ferramentas. Por fim, usamos o ChatGPT para buscar um caminho de solução válido (cadeia de chamadas de API) para cada instrução. Para tornar o processo de busca mais eficiente, desenvolvemos uma árvore de decisão baseada em busca em profundidade (DFSDT), permitindo que os LLMs avaliem múltiplos traços de raciocínio e expandam o espaço de busca. Mostramos que o DFSDT melhora significativamente as capacidades de planejamento e raciocínio dos LLMs. Para uma avaliação eficiente do uso de ferramentas, desenvolvemos um avaliador automático: o ToolEval. Ajustamos o LLaMA no ToolBench e obtemos o ToolLLaMA. Nosso ToolEval revela que o ToolLLaMA demonstra uma capacidade notável de executar instruções complexas e generalizar para APIs não vistas, além de exibir desempenho comparável ao ChatGPT. Para tornar o pipeline mais prático, projetamos um recuperador neural de APIs para recomendar as APIs apropriadas para cada instrução, eliminando a necessidade de seleção manual de APIs.

English

Despite the advancements of open-source large language models (LLMs) and their variants, e.g., LLaMA and Vicuna, they remain significantly limited in performing higher-level tasks, such as following human instructions to use external tools (APIs). This is because current instruction tuning largely focuses on basic language tasks instead of the tool-use domain. This is in contrast to state-of-the-art (SOTA) LLMs, e.g., ChatGPT, which have demonstrated excellent tool-use capabilities but are unfortunately closed source. To facilitate tool-use capabilities within open-source LLMs, we introduce ToolLLM, a general tool-use framework of data construction, model training and evaluation. We first present ToolBench, an instruction-tuning dataset for tool use, which is created automatically using ChatGPT. Specifically, we collect 16,464 real-world RESTful APIs spanning 49 categories from RapidAPI Hub, then prompt ChatGPT to generate diverse human instructions involving these APIs, covering both single-tool and multi-tool scenarios. Finally, we use ChatGPT to search for a valid solution path (chain of API calls) for each instruction. To make the searching process more efficient, we develop a novel depth-first search-based decision tree (DFSDT), enabling LLMs to evaluate multiple reasoning traces and expand the search space. We show that DFSDT significantly enhances the planning and reasoning capabilities of LLMs. For efficient tool-use assessment, we develop an automatic evaluator: ToolEval. We fine-tune LLaMA on ToolBench and obtain ToolLLaMA. Our ToolEval reveals that ToolLLaMA demonstrates a remarkable ability to execute complex instructions and generalize to unseen APIs, and exhibits comparable performance to ChatGPT. To make the pipeline more practical, we devise a neural API retriever to recommend appropriate APIs for each instruction, negating the need for manual API selection.