GPT4Tools: Vermittlung der Fähigkeit zur Werkzeugnutzung an große Sprachmodelle durch Selbstinstruktion

GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction

May 30, 2023

Autoren: Rui Yang, Lin Song, Yanwei Li, Sijie Zhao, Yixiao Ge, Xiu Li, Ying Shan

cs.AI

Zusammenfassung

Dieses Paper zielt darauf ab, Large Language Models (LLMs) effizient in die Lage zu versetzen, multimodale Werkzeuge zu nutzen. Fortgeschrittene proprietäre LLMs wie ChatGPT und GPT-4 haben durch ausgeklügelte Prompt-Engineering-Techniken großes Potenzial für die Werkzeugnutzung gezeigt. Dennoch basieren diese Modelle typischerweise auf prohibitiv hohen Rechenkosten und öffentlich nicht zugänglichen Daten. Um diese Herausforderungen zu bewältigen, schlagen wir GPT4Tools basierend auf Self-Instruct vor, um Open-Source-LLMs wie LLaMA und OPT in die Lage zu versetzen, Werkzeuge zu nutzen. Es generiert einen Instruction-Following-Datensatz, indem ein fortgeschrittener Lehrer mit verschiedenen multimodalen Kontexten angeregt wird. Durch die Verwendung der Low-Rank Adaptation (LoRA)-Optimierung ermöglicht unser Ansatz den Open-Source-LLMs, eine Reihe von visuellen Problemen zu lösen, einschließlich visueller Verständnisaufgaben und Bildgenerierung. Darüber hinaus stellen wir einen Benchmark zur Verfügung, um die Fähigkeit von LLMs zur Werkzeugnutzung zu bewerten, der sowohl in Zero-Shot- als auch in Fine-Tuning-Szenarien durchgeführt wird. Umfangreiche Experimente demonstrieren die Effektivität unserer Methode bei verschiedenen Sprachmodellen, die nicht nur die Genauigkeit bei der Verwendung bekannter Werkzeuge signifikant verbessert, sondern auch die Zero-Shot-Fähigkeit für unbekannte Werkzeuge ermöglicht. Der Code und eine Demo sind unter https://github.com/StevenGrove/GPT4Tools verfügbar.

English

This paper aims to efficiently enable Large Language Models (LLMs) to use multimodal tools. Advanced proprietary LLMs, such as ChatGPT and GPT-4, have shown great potential for tool usage through sophisticated prompt engineering. Nevertheless, these models typically rely on prohibitive computational costs and publicly inaccessible data. To address these challenges, we propose the GPT4Tools based on self-instruct to enable open-source LLMs, such as LLaMA and OPT, to use tools. It generates an instruction-following dataset by prompting an advanced teacher with various multi-modal contexts. By using the Low-Rank Adaptation (LoRA) optimization, our approach facilitates the open-source LLMs to solve a range of visual problems, including visual comprehension and image generation. Moreover, we provide a benchmark to evaluate the ability of LLMs to use tools, which is performed in both zero-shot and fine-tuning ways. Extensive experiments demonstrate the effectiveness of our method on various language models, which not only significantly improves the accuracy of invoking seen tools, but also enables the zero-shot capacity for unseen tools. The code and demo are available at https://github.com/StevenGrove/GPT4Tools.