JARVIS-1: メモリ拡張型マルチモーダル言語モデルによるオープンワールド・マルチタスクエージェント

JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models

November 10, 2023

著者: Zihao Wang, Shaofei Cai, Anji Liu, Yonggang Jin, Jinbing Hou, Bowei Zhang, Haowei Lin, Zhaofeng He, Zilong Zheng, Yaodong Yang, Xiaojian Ma, Yitao Liang

cs.AI

要旨

オープンワールドにおけるマルチモーダル観測を用いた人間のような計画と制御の実現は、より機能的な汎用エージェントにとって重要なマイルストーンです。既存のアプローチは、オープンワールドにおける特定の長期タスクを処理できます。しかし、オープンワールドのタスク数が潜在的に無限である場合や、ゲーム時間の経過に伴ってタスク完了を段階的に向上させる能力が欠如している場合には、依然として困難を抱えています。本論文では、人気がありながらも挑戦的なオープンワールドであるMinecraftの世界において、マルチモーダル入力（視覚観測と人間の指示）を認識し、高度な計画を生成し、具現化された制御を実行できるオープンワールドエージェントJARVIS-1を紹介します。具体的には、視覚観測とテキスト指示を計画にマッピングする事前学習済みマルチモーダル言語モデルの上にJARVIS-1を構築しました。これらの計画は最終的に目標条件付きコントローラーにディスパッチされます。JARVIS-1にはマルチモーダルメモリを装備しており、事前学習された知識と実際のゲーム生存経験の両方を活用した計画立案を可能にします。実験では、JARVIS-1はMinecraft Universe Benchmarkの200以上の様々なタスク（初級から中級レベルまで）においてほぼ完璧なパフォーマンスを示しました。特に、長期タスクであるダイヤモンドのツルハシ作成タスクにおいて12.5%の達成率を記録し、これは従来の記録と比較して最大5倍の大幅な向上を表しています。さらに、JARVIS-1はマルチモーダルメモリのおかげで生涯学習パラダイムに従って自己改善が可能であり、より一般的な知能と改善された自律性を発揮することが示されました。プロジェクトページはhttps://craftjarvis-jarvis1.github.ioで公開されています。

English

Achieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle when the number of open-world tasks could potentially be infinite and lack the capability to progressively enhance task completion as game time progresses. We introduce JARVIS-1, an open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, all within the popular yet challenging open-world Minecraft universe. Specifically, we develop JARVIS-1 on top of pre-trained multimodal language models, which map visual observations and textual instructions to plans. The plans will be ultimately dispatched to the goal-conditioned controllers. We outfit JARVIS-1 with a multimodal memory, which facilitates planning using both pre-trained knowledge and its actual game survival experiences. In our experiments, JARVIS-1 exhibits nearly perfect performances across over 200 varying tasks from the Minecraft Universe Benchmark, ranging from entry to intermediate levels. JARVIS-1 has achieved a completion rate of 12.5% in the long-horizon diamond pickaxe task. This represents a significant increase up to 5 times compared to previous records. Furthermore, we show that JARVIS-1 is able to self-improve following a life-long learning paradigm thanks to multimodal memory, sparking a more general intelligence and improved autonomy. The project page is available at https://craftjarvis-jarvis1.github.io.