AssistGPT: 計画、実行、検査、学習が可能な汎用マルチモーダルアシスタント

要旨

大規模言語モデル（LLMs）に関する最近の研究は、汎用NLP AIアシスタントにおいて顕著な進展をもたらしました。一部の研究では、より一般的なマルチモーダルなユーザークエリに対応するために、LLMsを活用した計画立案やモデル・APIの呼び出しについてさらに探求されています。しかし、このような進展にもかかわらず、複雑な視覚ベースのタスクは、その多様性ゆえに依然として課題として残っています。この多様性は2つの側面に反映されています：1）推論パス。多くの実世界のアプリケーションでは、クエリ自体を単に検討するだけで正確に分解することは困難です。特定の視覚コンテンツと各ステップの結果に基づいた計画立案が通常必要となります。2）柔軟な入力と中間結果。現実世界のケースでは、入力形式は柔軟であり、単一の画像やビデオだけでなく、ビデオと画像の混合（例えば、ユーザービュー画像と参照ビデオ）を含む場合があります。さらに、複雑な推論プロセスは、ビデオナレーションやセグメント化されたビデオクリップなど、多様なマルチモーダルな中間結果を生成します。このような一般的なケースに対応するために、我々はマルチモーダルAIアシスタント「AssistGPT」を提案し、Plan, Execute, Inspect, and Learn（PEIL）と呼ばれるコードと言語の交互推論アプローチを用いて、LLMsと様々なツールを統合します。具体的には、Plannerは自然言語を使用して、現在の推論の進捗に基づいてExecutorのどのツールを次に使用すべきかを計画できます。Inspectorは効率的なメモリマネージャーとして、Plannerが特定のツールに適切な視覚情報をフィードするのを支援します。最後に、推論プロセス全体が複雑で柔軟であるため、Learnerはモデルが自律的に最適な解決策を探索・発見できるように設計されています。我々はA-OKVQAおよびNExT-QAベンチマークで実験を行い、最先端の結果を達成しました。さらに、デモンストレーションでは、ベンチマークで見られるものよりもはるかに複雑な質問を処理するシステムの能力を示しています。

English

Recent research on Large Language Models (LLMs) has led to remarkable advancements in general NLP AI assistants. Some studies have further explored the use of LLMs for planning and invoking models or APIs to address more general multi-modal user queries. Despite this progress, complex visual-based tasks still remain challenging due to the diverse nature of visual tasks. This diversity is reflected in two aspects: 1) Reasoning paths. For many real-life applications, it is hard to accurately decompose a query simply by examining the query itself. Planning based on the specific visual content and the results of each step is usually required. 2) Flexible inputs and intermediate results. Input forms could be flexible for in-the-wild cases, and involves not only a single image or video but a mixture of videos and images, e.g., a user-view image with some reference videos. Besides, a complex reasoning process will also generate diverse multimodal intermediate results, e.g., video narrations, segmented video clips, etc. To address such general cases, we propose a multi-modal AI assistant, AssistGPT, with an interleaved code and language reasoning approach called Plan, Execute, Inspect, and Learn (PEIL) to integrate LLMs with various tools. Specifically, the Planner is capable of using natural language to plan which tool in Executor should do next based on the current reasoning progress. Inspector is an efficient memory manager to assist the Planner to feed proper visual information into a specific tool. Finally, since the entire reasoning process is complex and flexible, a Learner is designed to enable the model to autonomously explore and discover the optimal solution. We conducted experiments on A-OKVQA and NExT-QA benchmarks, achieving state-of-the-art results. Moreover, showcases demonstrate the ability of our system to handle questions far more complex than those found in the benchmarks.

AssistGPT: 計画、実行、検査、学習が可能な汎用マルチモーダルアシスタント

AssistGPT: A General Multi-modal Assistant that can Plan, Execute, Inspect, and Learn

要旨

Support