GPT4Tools : Enseigner aux grands modèles de langage l'utilisation d'outils via l'auto-instruction

GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction

May 30, 2023

Auteurs: Rui Yang, Lin Song, Yanwei Li, Sijie Zhao, Yixiao Ge, Xiu Li, Ying Shan

cs.AI

Résumé

Cet article vise à permettre efficacement aux modèles de langage de grande taille (LLMs) d'utiliser des outils multimodaux. Les LLMs propriétaires avancés, tels que ChatGPT et GPT-4, ont démontré un grand potentiel pour l'utilisation d'outils grâce à une ingénierie de prompts sophistiquée. Néanmoins, ces modèles reposent généralement sur des coûts de calcul prohibitifs et des données non accessibles au public. Pour relever ces défis, nous proposons GPT4Tools basé sur l'auto-instruction pour permettre aux LLMs open-source, tels que LLaMA et OPT, d'utiliser des outils. Il génère un ensemble de données d'instructions en sollicitant un enseignant avancé avec divers contextes multimodaux. En utilisant l'optimisation par adaptation de faible rang (LoRA), notre approche facilite la résolution par les LLMs open-source d'une gamme de problèmes visuels, y compris la compréhension visuelle et la génération d'images. De plus, nous fournissons un benchmark pour évaluer la capacité des LLMs à utiliser des outils, qui est réalisé à la fois en mode zero-shot et par fine-tuning. Des expériences approfondies démontrent l'efficacité de notre méthode sur divers modèles de langage, qui améliore non seulement de manière significative la précision de l'invocation des outils connus, mais permet également une capacité zero-shot pour les outils inconnus. Le code et la démonstration sont disponibles à l'adresse https://github.com/StevenGrove/GPT4Tools.

English

This paper aims to efficiently enable Large Language Models (LLMs) to use multimodal tools. Advanced proprietary LLMs, such as ChatGPT and GPT-4, have shown great potential for tool usage through sophisticated prompt engineering. Nevertheless, these models typically rely on prohibitive computational costs and publicly inaccessible data. To address these challenges, we propose the GPT4Tools based on self-instruct to enable open-source LLMs, such as LLaMA and OPT, to use tools. It generates an instruction-following dataset by prompting an advanced teacher with various multi-modal contexts. By using the Low-Rank Adaptation (LoRA) optimization, our approach facilitates the open-source LLMs to solve a range of visual problems, including visual comprehension and image generation. Moreover, we provide a benchmark to evaluate the ability of LLMs to use tools, which is performed in both zero-shot and fine-tuning ways. Extensive experiments demonstrate the effectiveness of our method on various language models, which not only significantly improves the accuracy of invoking seen tools, but also enables the zero-shot capacity for unseen tools. The code and demo are available at https://github.com/StevenGrove/GPT4Tools.