ToolLLM: Расширение возможностей крупных языковых моделей для работы с более чем 16000 реальных API

ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

July 31, 2023

Авторы: Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu, Lan Yan, Yaxi Lu, Yankai Lin, Xin Cong, Xiangru Tang, Bill Qian, Sihan Zhao, Runchu Tian, Ruobing Xie, Jie Zhou, Mark Gerstein, Dahai Li, Zhiyuan Liu, Maosong Sun

cs.AI

Аннотация

Несмотря на прогресс в разработке открытых больших языковых моделей (LLM) и их вариантов, таких как LLaMA и Vicuna, они остаются значительно ограниченными в выполнении задач более высокого уровня, таких как следование человеческим инструкциям для использования внешних инструментов (API). Это связано с тем, что текущая настройка на инструкции в основном сосредоточена на базовых языковых задачах, а не на области использования инструментов. Это контрастирует с передовыми LLM, такими как ChatGPT, которые продемонстрировали превосходные возможности использования инструментов, но, к сожалению, являются закрытыми. Для развития возможностей использования инструментов в открытых LLM мы представляем ToolLLM — общий фреймворк для создания данных, обучения модели и оценки. Сначала мы представляем ToolBench — набор данных для настройки на инструкции, связанные с использованием инструментов, который создается автоматически с помощью ChatGPT. В частности, мы собираем 16 464 реальных RESTful API, охватывающих 49 категорий с платформы RapidAPI Hub, а затем используем ChatGPT для генерации разнообразных человеческих инструкций, связанных с этими API, включая как сценарии с одним инструментом, так и с несколькими. Наконец, мы используем ChatGPT для поиска действительного пути решения (цепочки вызовов API) для каждой инструкции. Чтобы сделать процесс поиска более эффективным, мы разрабатываем новое дерево решений на основе поиска в глубину (DFSDT), позволяющее LLM оценивать несколько траекторий рассуждений и расширять пространство поиска. Мы показываем, что DFSDT значительно улучшает способности LLM к планированию и рассуждению. Для эффективной оценки использования инструментов мы разрабатываем автоматический оценщик ToolEval. Мы донастраиваем LLaMA на ToolBench и получаем ToolLLaMA. Наш ToolEval показывает, что ToolLLaMA демонстрирует замечательную способность выполнять сложные инструкции и обобщать на незнакомые API, а также показывает сопоставимую производительность с ChatGPT. Чтобы сделать процесс более практичным, мы разрабатываем нейронный API-ретривер для рекомендации подходящих API для каждой инструкции, устраняя необходимость ручного выбора API.

English

Despite the advancements of open-source large language models (LLMs) and their variants, e.g., LLaMA and Vicuna, they remain significantly limited in performing higher-level tasks, such as following human instructions to use external tools (APIs). This is because current instruction tuning largely focuses on basic language tasks instead of the tool-use domain. This is in contrast to state-of-the-art (SOTA) LLMs, e.g., ChatGPT, which have demonstrated excellent tool-use capabilities but are unfortunately closed source. To facilitate tool-use capabilities within open-source LLMs, we introduce ToolLLM, a general tool-use framework of data construction, model training and evaluation. We first present ToolBench, an instruction-tuning dataset for tool use, which is created automatically using ChatGPT. Specifically, we collect 16,464 real-world RESTful APIs spanning 49 categories from RapidAPI Hub, then prompt ChatGPT to generate diverse human instructions involving these APIs, covering both single-tool and multi-tool scenarios. Finally, we use ChatGPT to search for a valid solution path (chain of API calls) for each instruction. To make the searching process more efficient, we develop a novel depth-first search-based decision tree (DFSDT), enabling LLMs to evaluate multiple reasoning traces and expand the search space. We show that DFSDT significantly enhances the planning and reasoning capabilities of LLMs. For efficient tool-use assessment, we develop an automatic evaluator: ToolEval. We fine-tune LLaMA on ToolBench and obtain ToolLLaMA. Our ToolEval reveals that ToolLLaMA demonstrates a remarkable ability to execute complex instructions and generalize to unseen APIs, and exhibits comparable performance to ChatGPT. To make the pipeline more practical, we devise a neural API retriever to recommend appropriate APIs for each instruction, negating the need for manual API selection.