AssistGPT: Ein allgemeiner multimodaler Assistent, der planen, ausführen, überprüfen und lernen kann

AssistGPT: A General Multi-modal Assistant that can Plan, Execute, Inspect, and Learn

June 14, 2023

Autoren: Difei Gao, Lei Ji, Luowei Zhou, Kevin Qinghong Lin, Joya Chen, Zihan Fan, Mike Zheng Shou

cs.AI

Zusammenfassung

Aktuelle Forschungen zu Large Language Models (LLMs) haben zu bemerkenswerten Fortschritten bei allgemeinen NLP-KI-Assistenten geführt. Einige Studien haben zudem die Nutzung von LLMs für die Planung und den Aufruf von Modellen oder APIs untersucht, um allgemeinere multimodale Benutzeranfragen zu bearbeiten. Trotz dieser Fortschritte bleiben komplexe visuelle Aufgaben aufgrund der Vielfalt visueller Aufgaben weiterhin herausfordernd. Diese Vielfalt zeigt sich in zwei Aspekten: 1) Argumentationspfade. Für viele reale Anwendungen ist es schwierig, eine Anfrage allein durch deren Betrachtung präzise zu zerlegen. Eine Planung basierend auf dem spezifischen visuellen Inhalt und den Ergebnissen jedes Schritts ist meist erforderlich. 2) Flexible Eingaben und Zwischenergebnisse. Die Eingabeformen können in realen Fällen flexibel sein und beinhalten nicht nur ein einzelnes Bild oder Video, sondern eine Mischung aus Videos und Bildern, z. B. ein Benutzeransichtsbild mit einigen Referenzvideos. Darüber hinaus erzeugt ein komplexer Argumentationsprozess auch diverse multimodale Zwischenergebnisse, z. B. Videokommentare, segmentierte Videoclips usw. Um solche allgemeinen Fälle zu bewältigen, schlagen wir einen multimodalen KI-Assistenten, AssistGPT, mit einem verschachtelten Code- und Sprachargumentationsansatz namens Plan, Execute, Inspect, and Learn (PEIL) vor, um LLMs mit verschiedenen Tools zu integrieren. Konkret ist der Planner in der Lage, natürliche Sprache zu verwenden, um zu planen, welches Tool im Executor als nächstes basierend auf dem aktuellen Argumentationsfortschritt verwendet werden soll. Der Inspector ist ein effizienter Speichermanager, der den Planner dabei unterstützt, die richtigen visuellen Informationen in ein bestimmtes Tool einzuspeisen. Schließlich ist, da der gesamte Argumentationsprozess komplex und flexibel ist, ein Learner entworfen, um dem Modell zu ermöglichen, autonom die optimale Lösung zu erkunden und zu entdecken. Wir haben Experimente auf den Benchmarks A-OKVQA und NExT-QA durchgeführt und dabei state-of-the-art Ergebnisse erzielt. Darüber hinaus zeigen Demonstrationen die Fähigkeit unseres Systems, Fragen zu bewältigen, die weitaus komplexer sind als die in den Benchmarks gefundenen.

English

Recent research on Large Language Models (LLMs) has led to remarkable advancements in general NLP AI assistants. Some studies have further explored the use of LLMs for planning and invoking models or APIs to address more general multi-modal user queries. Despite this progress, complex visual-based tasks still remain challenging due to the diverse nature of visual tasks. This diversity is reflected in two aspects: 1) Reasoning paths. For many real-life applications, it is hard to accurately decompose a query simply by examining the query itself. Planning based on the specific visual content and the results of each step is usually required. 2) Flexible inputs and intermediate results. Input forms could be flexible for in-the-wild cases, and involves not only a single image or video but a mixture of videos and images, e.g., a user-view image with some reference videos. Besides, a complex reasoning process will also generate diverse multimodal intermediate results, e.g., video narrations, segmented video clips, etc. To address such general cases, we propose a multi-modal AI assistant, AssistGPT, with an interleaved code and language reasoning approach called Plan, Execute, Inspect, and Learn (PEIL) to integrate LLMs with various tools. Specifically, the Planner is capable of using natural language to plan which tool in Executor should do next based on the current reasoning progress. Inspector is an efficient memory manager to assist the Planner to feed proper visual information into a specific tool. Finally, since the entire reasoning process is complex and flexible, a Learner is designed to enable the model to autonomously explore and discover the optimal solution. We conducted experiments on A-OKVQA and NExT-QA benchmarks, achieving state-of-the-art results. Moreover, showcases demonstrate the ability of our system to handle questions far more complex than those found in the benchmarks.