AssistGPT: Универсальный мультимодальный помощник, способный планировать, выполнять, анализировать и обучаться

AssistGPT: A General Multi-modal Assistant that can Plan, Execute, Inspect, and Learn

June 14, 2023

Авторы: Difei Gao, Lei Ji, Luowei Zhou, Kevin Qinghong Lin, Joya Chen, Zihan Fan, Mike Zheng Shou

cs.AI

Аннотация

Недавние исследования в области больших языковых моделей (LLM) привели к значительным достижениям в разработке универсальных NLP-ассистентов. Некоторые исследования дополнительно изучили использование LLM для планирования и вызова моделей или API с целью решения более сложных мультимодальных запросов пользователей. Несмотря на этот прогресс, сложные задачи, связанные с визуальными данными, остаются трудными из-за разнообразия таких задач. Это разнообразие проявляется в двух аспектах: 1) Пути рассуждений. Для многих реальных приложений сложно точно декомпозировать запрос, просто анализируя его. Обычно требуется планирование на основе конкретного визуального контента и результатов каждого шага. 2) Гибкие входные данные и промежуточные результаты. Входные данные могут быть гибкими в реальных условиях и включать не только одно изображение или видео, но и их комбинации, например, изображение с точки зрения пользователя с несколькими референсными видео. Кроме того, сложный процесс рассуждений также генерирует разнообразные мультимодальные промежуточные результаты, такие как видеонарративы, сегментированные видеоклипы и т.д. Для решения таких общих задач мы предлагаем мультимодальный AI-ассистент AssistGPT с подходом чередующегося кода и языковых рассуждений под названием Plan, Execute, Inspect, and Learn (PEIL), который интегрирует LLM с различными инструментами. В частности, Планировщик способен использовать естественный язык для определения, какой инструмент в Исполнителе должен быть задействован следующим на основе текущего прогресса рассуждений. Инспектор — это эффективный менеджер памяти, который помогает Планировщику передавать правильную визуальную информацию в конкретный инструмент. Наконец, поскольку весь процесс рассуждений сложен и гибок, Обучающийся модуль разработан для того, чтобы модель могла автономно исследовать и находить оптимальное решение. Мы провели эксперименты на бенчмарках A-OKVQA и NExT-QA, достигнув результатов, соответствующих современному уровню. Кроме того, демонстрации показывают способность нашей системы обрабатывать вопросы, значительно более сложные, чем те, что представлены в бенчмарках.

English

Recent research on Large Language Models (LLMs) has led to remarkable advancements in general NLP AI assistants. Some studies have further explored the use of LLMs for planning and invoking models or APIs to address more general multi-modal user queries. Despite this progress, complex visual-based tasks still remain challenging due to the diverse nature of visual tasks. This diversity is reflected in two aspects: 1) Reasoning paths. For many real-life applications, it is hard to accurately decompose a query simply by examining the query itself. Planning based on the specific visual content and the results of each step is usually required. 2) Flexible inputs and intermediate results. Input forms could be flexible for in-the-wild cases, and involves not only a single image or video but a mixture of videos and images, e.g., a user-view image with some reference videos. Besides, a complex reasoning process will also generate diverse multimodal intermediate results, e.g., video narrations, segmented video clips, etc. To address such general cases, we propose a multi-modal AI assistant, AssistGPT, with an interleaved code and language reasoning approach called Plan, Execute, Inspect, and Learn (PEIL) to integrate LLMs with various tools. Specifically, the Planner is capable of using natural language to plan which tool in Executor should do next based on the current reasoning progress. Inspector is an efficient memory manager to assist the Planner to feed proper visual information into a specific tool. Finally, since the entire reasoning process is complex and flexible, a Learner is designed to enable the model to autonomously explore and discover the optimal solution. We conducted experiments on A-OKVQA and NExT-QA benchmarks, achieving state-of-the-art results. Moreover, showcases demonstrate the ability of our system to handle questions far more complex than those found in the benchmarks.