AssistGPT: Um Assistente Multimodal Geral que Pode Planejar, Executar, Inspecionar e Aprender

AssistGPT: A General Multi-modal Assistant that can Plan, Execute, Inspect, and Learn

June 14, 2023

Autores: Difei Gao, Lei Ji, Luowei Zhou, Kevin Qinghong Lin, Joya Chen, Zihan Fan, Mike Zheng Shou

cs.AI

Resumo

Pesquisas recentes sobre Modelos de Linguagem de Grande Escala (LLMs) levaram a avanços notáveis em assistentes de IA de Processamento de Linguagem Natural (NLP) de propósito geral. Alguns estudos exploraram ainda mais o uso de LLMs para planejamento e invocação de modelos ou APIs a fim de abordar consultas multimodais mais amplas dos usuários. Apesar desse progresso, tarefas visuais complexas ainda permanecem desafiadoras devido à natureza diversificada das tarefas visuais. Essa diversidade se reflete em dois aspectos: 1) Caminhos de raciocínio. Para muitas aplicações do mundo real, é difícil decompor uma consulta com precisão apenas examinando a consulta em si. Geralmente, é necessário planejar com base no conteúdo visual específico e nos resultados de cada etapa. 2) Entradas e resultados intermediários flexíveis. As formas de entrada podem ser flexíveis para casos do mundo real, envolvendo não apenas uma única imagem ou vídeo, mas uma mistura de vídeos e imagens, por exemplo, uma imagem da visão do usuário com alguns vídeos de referência. Além disso, um processo de raciocínio complexo também gerará resultados intermediários multimodais diversos, como narrações em vídeo, clipes de vídeo segmentados, etc. Para abordar esses casos gerais, propomos um assistente de IA multimodal, o AssistGPT, com uma abordagem de raciocínio intercalado entre código e linguagem chamada Planejar, Executar, Inspecionar e Aprender (PEIL) para integrar LLMs com várias ferramentas. Especificamente, o Planejador é capaz de usar linguagem natural para planejar qual ferramenta no Executor deve ser usada em seguida com base no progresso atual do raciocínio. O Inspetor é um gerenciador de memória eficiente para auxiliar o Planejador a fornecer informações visuais adequadas a uma ferramenta específica. Por fim, como todo o processo de raciocínio é complexo e flexível, um Aprendiz foi projetado para permitir que o modelo explore e descubra autonomamente a solução ideal. Realizamos experimentos nos benchmarks A-OKVQA e NExT-QA, alcançando resultados de ponta. Além disso, demonstrações mostram a capacidade do nosso sistema de lidar com questões muito mais complexas do que as encontradas nos benchmarks.

English

Recent research on Large Language Models (LLMs) has led to remarkable advancements in general NLP AI assistants. Some studies have further explored the use of LLMs for planning and invoking models or APIs to address more general multi-modal user queries. Despite this progress, complex visual-based tasks still remain challenging due to the diverse nature of visual tasks. This diversity is reflected in two aspects: 1) Reasoning paths. For many real-life applications, it is hard to accurately decompose a query simply by examining the query itself. Planning based on the specific visual content and the results of each step is usually required. 2) Flexible inputs and intermediate results. Input forms could be flexible for in-the-wild cases, and involves not only a single image or video but a mixture of videos and images, e.g., a user-view image with some reference videos. Besides, a complex reasoning process will also generate diverse multimodal intermediate results, e.g., video narrations, segmented video clips, etc. To address such general cases, we propose a multi-modal AI assistant, AssistGPT, with an interleaved code and language reasoning approach called Plan, Execute, Inspect, and Learn (PEIL) to integrate LLMs with various tools. Specifically, the Planner is capable of using natural language to plan which tool in Executor should do next based on the current reasoning progress. Inspector is an efficient memory manager to assist the Planner to feed proper visual information into a specific tool. Finally, since the entire reasoning process is complex and flexible, a Learner is designed to enable the model to autonomously explore and discover the optimal solution. We conducted experiments on A-OKVQA and NExT-QA benchmarks, achieving state-of-the-art results. Moreover, showcases demonstrate the ability of our system to handle questions far more complex than those found in the benchmarks.