AssistGPT : Un assistant multimodal général capable de planifier, exécuter, inspecter et apprendre

AssistGPT: A General Multi-modal Assistant that can Plan, Execute, Inspect, and Learn

June 14, 2023

Auteurs: Difei Gao, Lei Ji, Luowei Zhou, Kevin Qinghong Lin, Joya Chen, Zihan Fan, Mike Zheng Shou

cs.AI

Résumé

Les recherches récentes sur les modèles de langage de grande taille (LLMs) ont conduit à des avancées remarquables dans les assistants IA de traitement du langage naturel (NLP) généralistes. Certaines études ont approfondi l'utilisation des LLMs pour la planification et l'invocation de modèles ou d'API afin de répondre à des requêtes utilisateur multi-modales plus générales. Malgré ces progrès, les tâches complexes basées sur la vision restent difficiles en raison de la nature diversifiée des tâches visuelles. Cette diversité se reflète dans deux aspects : 1) Les chemins de raisonnement. Pour de nombreuses applications réelles, il est difficile de décomposer avec précision une requête simplement en examinant la requête elle-même. Une planification basée sur le contenu visuel spécifique et les résultats de chaque étape est généralement nécessaire. 2) Les entrées et résultats intermédiaires flexibles. Les formes d'entrée peuvent être flexibles pour des cas en situation réelle, et impliquent non seulement une seule image ou vidéo, mais un mélange de vidéos et d'images, par exemple, une image vue par l'utilisateur avec quelques vidéos de référence. De plus, un processus de raisonnement complexe générera également des résultats intermédiaires multi-modaux divers, tels que des narrations vidéo, des clips vidéo segmentés, etc. Pour aborder de tels cas généraux, nous proposons un assistant IA multi-modal, AssistGPT, avec une approche de raisonnement entrelacé entre code et langage appelée Planifier, Exécuter, Inspecter et Apprendre (PEIL) pour intégrer les LLMs avec divers outils. Plus précisément, le Planificateur est capable d'utiliser le langage naturel pour planifier quel outil dans l'Exécuteur doit agir ensuite en fonction de l'avancement actuel du raisonnement. L'Inspecteur est un gestionnaire de mémoire efficace pour aider le Planificateur à fournir les informations visuelles appropriées à un outil spécifique. Enfin, puisque l'ensemble du processus de raisonnement est complexe et flexible, un Apprenant est conçu pour permettre au modèle d'explorer et de découvrir de manière autonome la solution optimale. Nous avons mené des expériences sur les benchmarks A-OKVQA et NExT-QA, obtenant des résultats de pointe. De plus, des démonstrations montrent la capacité de notre système à gérer des questions bien plus complexes que celles trouvées dans les benchmarks.

English

Recent research on Large Language Models (LLMs) has led to remarkable advancements in general NLP AI assistants. Some studies have further explored the use of LLMs for planning and invoking models or APIs to address more general multi-modal user queries. Despite this progress, complex visual-based tasks still remain challenging due to the diverse nature of visual tasks. This diversity is reflected in two aspects: 1) Reasoning paths. For many real-life applications, it is hard to accurately decompose a query simply by examining the query itself. Planning based on the specific visual content and the results of each step is usually required. 2) Flexible inputs and intermediate results. Input forms could be flexible for in-the-wild cases, and involves not only a single image or video but a mixture of videos and images, e.g., a user-view image with some reference videos. Besides, a complex reasoning process will also generate diverse multimodal intermediate results, e.g., video narrations, segmented video clips, etc. To address such general cases, we propose a multi-modal AI assistant, AssistGPT, with an interleaved code and language reasoning approach called Plan, Execute, Inspect, and Learn (PEIL) to integrate LLMs with various tools. Specifically, the Planner is capable of using natural language to plan which tool in Executor should do next based on the current reasoning progress. Inspector is an efficient memory manager to assist the Planner to feed proper visual information into a specific tool. Finally, since the entire reasoning process is complex and flexible, a Learner is designed to enable the model to autonomously explore and discover the optimal solution. We conducted experiments on A-OKVQA and NExT-QA benchmarks, achieving state-of-the-art results. Moreover, showcases demonstrate the ability of our system to handle questions far more complex than those found in the benchmarks.