Octopus: 環境フィードバックからの具現化された視覚-言語プログラマー

Octopus: Embodied Vision-Language Programmer from Environmental Feedback

October 12, 2023

著者: Jingkang Yang, Yuhao Dong, Shuai Liu, Bo Li, Ziyue Wang, Chencheng Jiang, Haoran Tan, Jiamu Kang, Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu

cs.AI

要旨

大規模視覚言語モデル（VLMs）は、マルチモーダル知覚と推論において著しい進展を遂げてきました。さらに、これらがエンボディエージェントにシームレスに統合されることで、自律的かつ文脈を認識したシステムの構築に向けた重要な一歩を意味します。このようなシステムは、計画を立案し、正確に命令を実行することが可能です。本論文では、Octopusという新しいVLMを紹介します。Octopusは、エージェントの視覚とテキストタスク目標を的確に解読し、複雑なアクションシーケンスを策定し、実行可能なコードを生成するように設計されています。私たちの設計により、エージェントはシミュレータ内での日常的な作業から複雑なビデオゲームでの高度なインタラクションまで、幅広いタスクを巧みに処理することが可能です。Octopusは、GPT-4を活用して探索エージェントを制御し、OctoVerseと呼ばれる実験環境内でトレーニングデータ（アクションブループリントと対応する実行可能コード）を生成することでトレーニングされます。また、環境フィードバックを伴う強化学習（RLEF）の強化されたトレーニングスキームを可能にするフィードバックも収集します。一連の実験を通じて、Octopusの機能を明らかにし、説得力のある結果を示します。提案されたRLEFは、エージェントの意思決定を洗練させることが判明しました。私たちは、モデルアーキテクチャ、シミュレータ、およびデータセットをオープンソース化することで、さらなるイノベーションを引き起こし、広範なエンボディAIコミュニティ内での協力的なアプリケーションを促進することを目指しています。

English

Large vision-language models (VLMs) have achieved substantial progress in multimodal perception and reasoning. Furthermore, when seamlessly integrated into an embodied agent, it signifies a crucial stride towards the creation of autonomous and context-aware systems capable of formulating plans and executing commands with precision. In this paper, we introduce Octopus, a novel VLM designed to proficiently decipher an agent's vision and textual task objectives and to formulate intricate action sequences and generate executable code. Our design allows the agent to adeptly handle a wide spectrum of tasks, ranging from mundane daily chores in simulators to sophisticated interactions in complex video games. Octopus is trained by leveraging GPT-4 to control an explorative agent to generate training data, i.e., action blueprints and the corresponding executable code, within our experimental environment called OctoVerse. We also collect the feedback that allows the enhanced training scheme of Reinforcement Learning with Environmental Feedback (RLEF). Through a series of experiments, we illuminate Octopus's functionality and present compelling results, and the proposed RLEF turns out to refine the agent's decision-making. By open-sourcing our model architecture, simulator, and dataset, we aspire to ignite further innovation and foster collaborative applications within the broader embodied AI community.