GPT4Tools: Insegnare ai Modelli Linguistici di Grande Dimensione a Utilizzare Strumenti attraverso l'Auto-istruzione

GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction

May 30, 2023

Autori: Rui Yang, Lin Song, Yanwei Li, Sijie Zhao, Yixiao Ge, Xiu Li, Ying Shan

cs.AI

Abstract

Questo articolo si propone di abilitare in modo efficiente i Modelli Linguistici di Grande Scala (LLMs) all'utilizzo di strumenti multimodali. Modelli avanzati proprietari come ChatGPT e GPT-4 hanno dimostrato un grande potenziale nell'uso di strumenti attraverso sofisticate tecniche di prompt engineering. Tuttavia, questi modelli si basano tipicamente su costi computazionali proibitivi e dati non accessibili pubblicamente. Per affrontare queste sfide, proponiamo GPT4Tools, basato su self-instruct, per consentire a LLMs open-source come LLaMA e OPT di utilizzare strumenti. Questo metodo genera un dataset di istruzioni seguite sollecitando un insegnante avanzato con vari contesti multimodali. Utilizzando l'ottimizzazione Low-Rank Adaptation (LoRA), il nostro approccio facilita la risoluzione di una gamma di problemi visivi da parte dei LLMs open-source, inclusi la comprensione visiva e la generazione di immagini. Inoltre, forniamo un benchmark per valutare la capacità dei LLMs di utilizzare strumenti, eseguito sia in modalità zero-shot che di fine-tuning. Esperimenti estesi dimostrano l'efficacia del nostro metodo su vari modelli linguistici, che non solo migliora significativamente l'accuratezza nell'invocazione di strumenti noti, ma abilita anche la capacità zero-shot per strumenti non visti. Il codice e la demo sono disponibili all'indirizzo https://github.com/StevenGrove/GPT4Tools.

English

This paper aims to efficiently enable Large Language Models (LLMs) to use multimodal tools. Advanced proprietary LLMs, such as ChatGPT and GPT-4, have shown great potential for tool usage through sophisticated prompt engineering. Nevertheless, these models typically rely on prohibitive computational costs and publicly inaccessible data. To address these challenges, we propose the GPT4Tools based on self-instruct to enable open-source LLMs, such as LLaMA and OPT, to use tools. It generates an instruction-following dataset by prompting an advanced teacher with various multi-modal contexts. By using the Low-Rank Adaptation (LoRA) optimization, our approach facilitates the open-source LLMs to solve a range of visual problems, including visual comprehension and image generation. Moreover, we provide a benchmark to evaluate the ability of LLMs to use tools, which is performed in both zero-shot and fine-tuning ways. Extensive experiments demonstrate the effectiveness of our method on various language models, which not only significantly improves the accuracy of invoking seen tools, but also enables the zero-shot capacity for unseen tools. The code and demo are available at https://github.com/StevenGrove/GPT4Tools.