GPT4Tools: Обучение крупных языковых моделей использованию инструментов через самоинструкцию

GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction

May 30, 2023

Авторы: Rui Yang, Lin Song, Yanwei Li, Sijie Zhao, Yixiao Ge, Xiu Li, Ying Shan

cs.AI

Аннотация

Данная работа направлена на эффективное обеспечение использования мультимодальных инструментов крупными языковыми моделями (LLM). Передовые проприетарные LLM, такие как ChatGPT и GPT-4, продемонстрировали значительный потенциал в использовании инструментов благодаря сложному инжинирингу промптов. Однако эти модели обычно требуют высоких вычислительных затрат и опираются на данные, недоступные для публичного использования. Для решения этих проблем мы предлагаем GPT4Tools, основанный на self-instruct, чтобы позволить открытым LLM, таким как LLaMA и OPT, использовать инструменты. Этот метод генерирует набор данных для следования инструкциям, запрашивая продвинутую модель-учителя в различных мультимодальных контекстах. Используя оптимизацию Low-Rank Adaptation (LoRA), наш подход позволяет открытым LLM решать широкий спектр визуальных задач, включая понимание изображений и генерацию изображений. Кроме того, мы предоставляем бенчмарк для оценки способности LLM использовать инструменты, который проводится как в режиме zero-shot, так и с тонкой настройкой. Многочисленные эксперименты демонстрируют эффективность нашего метода на различных языковых моделях, что не только значительно повышает точность вызова известных инструментов, но и обеспечивает zero-shot способность для неизвестных инструментов. Код и демонстрация доступны по адресу https://github.com/StevenGrove/GPT4Tools.

English

This paper aims to efficiently enable Large Language Models (LLMs) to use multimodal tools. Advanced proprietary LLMs, such as ChatGPT and GPT-4, have shown great potential for tool usage through sophisticated prompt engineering. Nevertheless, these models typically rely on prohibitive computational costs and publicly inaccessible data. To address these challenges, we propose the GPT4Tools based on self-instruct to enable open-source LLMs, such as LLaMA and OPT, to use tools. It generates an instruction-following dataset by prompting an advanced teacher with various multi-modal contexts. By using the Low-Rank Adaptation (LoRA) optimization, our approach facilitates the open-source LLMs to solve a range of visual problems, including visual comprehension and image generation. Moreover, we provide a benchmark to evaluate the ability of LLMs to use tools, which is performed in both zero-shot and fine-tuning ways. Extensive experiments demonstrate the effectiveness of our method on various language models, which not only significantly improves the accuracy of invoking seen tools, but also enables the zero-shot capacity for unseen tools. The code and demo are available at https://github.com/StevenGrove/GPT4Tools.