GPT4Tools: Het aanleren van het gebruik van tools aan grote taalmodellen via zelfinstructie

GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction

May 30, 2023

Auteurs: Rui Yang, Lin Song, Yanwei Li, Sijie Zhao, Yixiao Ge, Xiu Li, Ying Shan

cs.AI

Samenvatting

Dit artikel beoogt het efficiënt mogelijk maken van het gebruik van multimodale tools door Large Language Models (LLMs). Geavanceerde propriëtaire LLMs, zoals ChatGPT en GPT-4, hebben groot potentieel getoond voor het gebruik van tools door middel van geavanceerde prompt engineering. Deze modellen zijn echter doorgaans afhankelijk van hoge computationele kosten en niet-openbaar toegankelijke data. Om deze uitdagingen aan te pakken, stellen we GPT4Tools voor, gebaseerd op self-instruct, om open-source LLMs zoals LLaMA en OPT in staat te stellen tools te gebruiken. Het genereert een instructie-volgend dataset door een geavanceerde leraar te stimuleren met verschillende multimodale contexten. Door gebruik te maken van Low-Rank Adaptation (LoRA) optimalisatie, vergemakkelijkt onze aanpak het oplossen van een reeks visuele problemen door open-source LLMs, waaronder visueel begrip en beeldgeneratie. Bovendien bieden we een benchmark om het vermogen van LLMs om tools te gebruiken te evalueren, wat zowel in zero-shot als fine-tuning manieren wordt uitgevoerd. Uitgebreide experimenten tonen de effectiviteit van onze methode aan op verschillende taalmodellen, wat niet alleen de nauwkeurigheid van het aanroepen van bekende tools aanzienlijk verbetert, maar ook de zero-shot capaciteit voor onbekende tools mogelijk maakt. De code en demo zijn beschikbaar op https://github.com/StevenGrove/GPT4Tools.

English

This paper aims to efficiently enable Large Language Models (LLMs) to use multimodal tools. Advanced proprietary LLMs, such as ChatGPT and GPT-4, have shown great potential for tool usage through sophisticated prompt engineering. Nevertheless, these models typically rely on prohibitive computational costs and publicly inaccessible data. To address these challenges, we propose the GPT4Tools based on self-instruct to enable open-source LLMs, such as LLaMA and OPT, to use tools. It generates an instruction-following dataset by prompting an advanced teacher with various multi-modal contexts. By using the Low-Rank Adaptation (LoRA) optimization, our approach facilitates the open-source LLMs to solve a range of visual problems, including visual comprehension and image generation. Moreover, we provide a benchmark to evaluate the ability of LLMs to use tools, which is performed in both zero-shot and fine-tuning ways. Extensive experiments demonstrate the effectiveness of our method on various language models, which not only significantly improves the accuracy of invoking seen tools, but also enables the zero-shot capacity for unseen tools. The code and demo are available at https://github.com/StevenGrove/GPT4Tools.