AssistGPT: Un asistente multimodal general capaz de planificar, ejecutar, inspeccionar y aprender.

AssistGPT: A General Multi-modal Assistant that can Plan, Execute, Inspect, and Learn

June 14, 2023

Autores: Difei Gao, Lei Ji, Luowei Zhou, Kevin Qinghong Lin, Joya Chen, Zihan Fan, Mike Zheng Shou

cs.AI

Resumen

Las investigaciones recientes sobre los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han llevado a avances notables en asistentes de IA generales para el Procesamiento del Lenguaje Natural (NLP). Algunos estudios han explorado además el uso de LLMs para planificar e invocar modelos o APIs con el fin de abordar consultas de usuarios multimodales más generales. A pesar de este progreso, las tareas visuales complejas siguen siendo un desafío debido a la naturaleza diversa de estas tareas. Esta diversidad se refleja en dos aspectos: 1) Rutas de razonamiento. Para muchas aplicaciones de la vida real, es difícil descomponer con precisión una consulta simplemente examinando la consulta en sí. Por lo general, se requiere una planificación basada en el contenido visual específico y los resultados de cada paso. 2) Entradas y resultados intermedios flexibles. Las formas de entrada pueden ser flexibles en casos del mundo real, y no solo involucran una sola imagen o video, sino una mezcla de videos e imágenes, por ejemplo, una imagen de la vista del usuario con algunos videos de referencia. Además, un proceso de razonamiento complejo también generará resultados intermedios multimodales diversos, como narraciones de video, clips de video segmentados, etc. Para abordar estos casos generales, proponemos un asistente de IA multimodal, AssistGPT, con un enfoque de razonamiento intercalado entre código y lenguaje llamado Planificar, Ejecutar, Inspeccionar y Aprender (PEIL, por sus siglas en inglés) para integrar LLMs con diversas herramientas. Específicamente, el Planificador es capaz de usar lenguaje natural para decidir qué herramienta en el Ejecutor debe actuar a continuación, basándose en el progreso actual del razonamiento. El Inspector es un gestor de memoria eficiente que ayuda al Planificador a proporcionar la información visual adecuada a una herramienta específica. Finalmente, dado que todo el proceso de razonamiento es complejo y flexible, se ha diseñado un Aprendiz para permitir que el modelo explore y descubra de manera autónoma la solución óptima. Realizamos experimentos en los benchmarks A-OKVQA y NExT-QA, logrando resultados de vanguardia. Además, demostraciones muestran la capacidad de nuestro sistema para manejar preguntas mucho más complejas que las encontradas en los benchmarks.

English

Recent research on Large Language Models (LLMs) has led to remarkable advancements in general NLP AI assistants. Some studies have further explored the use of LLMs for planning and invoking models or APIs to address more general multi-modal user queries. Despite this progress, complex visual-based tasks still remain challenging due to the diverse nature of visual tasks. This diversity is reflected in two aspects: 1) Reasoning paths. For many real-life applications, it is hard to accurately decompose a query simply by examining the query itself. Planning based on the specific visual content and the results of each step is usually required. 2) Flexible inputs and intermediate results. Input forms could be flexible for in-the-wild cases, and involves not only a single image or video but a mixture of videos and images, e.g., a user-view image with some reference videos. Besides, a complex reasoning process will also generate diverse multimodal intermediate results, e.g., video narrations, segmented video clips, etc. To address such general cases, we propose a multi-modal AI assistant, AssistGPT, with an interleaved code and language reasoning approach called Plan, Execute, Inspect, and Learn (PEIL) to integrate LLMs with various tools. Specifically, the Planner is capable of using natural language to plan which tool in Executor should do next based on the current reasoning progress. Inspector is an efficient memory manager to assist the Planner to feed proper visual information into a specific tool. Finally, since the entire reasoning process is complex and flexible, a Learner is designed to enable the model to autonomously explore and discover the optimal solution. We conducted experiments on A-OKVQA and NExT-QA benchmarks, achieving state-of-the-art results. Moreover, showcases demonstrate the ability of our system to handle questions far more complex than those found in the benchmarks.