LEGENT：エンボディエージェントのためのオープンプラットフォーム

LEGENT: Open Platform for Embodied Agents

April 28, 2024

著者: Zhili Cheng, Zhitong Wang, Jinyi Hu, Shengding Hu, An Liu, Yuge Tu, Pengkai Li, Lei Shi, Zhiyuan Liu, Maosong Sun

cs.AI

要旨

大規模言語モデル（LLMs）や大規模マルチモーダルモデル（LMMs）の進展にもかかわらず、言語に基づいた人間のようなエンボディエージェントへの統合は未完成であり、物理環境における複雑な現実世界のタスクの遂行を妨げています。既存の統合は、オープンソース化が限定的であることが多く、この分野の集団的な進歩を困難にしています。私たちは、LLMsとLMMsを使用してエンボディエージェントを開発するためのオープンでスケーラブルなプラットフォームであるLEGENTを紹介します。LEGENTは、双方向のアプローチを提供します：コミュニケーション可能で行動可能なエージェントを備えた豊富なインタラクティブな3D環境とユーザーフレンドリーなインターフェース、そしてシミュレートされた世界からの大規模な監督を活用する高度なアルゴリズムを使用した洗練されたデータ生成パイプラインです。私たちの実験では、LEGENTで生成されたデータで訓練された初期段階の視覚-言語-行動モデルが、エンボディタスクにおいてGPT-4Vを上回り、有望な汎化能力を示しています。

English

Despite advancements in Large Language Models (LLMs) and Large Multimodal Models (LMMs), their integration into language-grounded, human-like embodied agents remains incomplete, hindering complex real-life task performance in physical environments. Existing integrations often feature limited open sourcing, challenging collective progress in this field. We introduce LEGENT, an open, scalable platform for developing embodied agents using LLMs and LMMs. LEGENT offers a dual approach: a rich, interactive 3D environment with communicable and actionable agents, paired with a user-friendly interface, and a sophisticated data generation pipeline utilizing advanced algorithms to exploit supervision from simulated worlds at scale. In our experiments, an embryonic vision-language-action model trained on LEGENT-generated data surpasses GPT-4V in embodied tasks, showcasing promising generalization capabilities.