GenEx: 探索可能な世界の生成

GenEx: Generating an Explorable World

December 12, 2024

著者: Taiming Lu, Tianmin Shu, Junfei Xiao, Luoxin Ye, Jiahao Wang, Cheng Peng, Chen Wei, Daniel Khashabi, Rama Chellappa, Alan Yuille, Jieneng Chen

cs.AI

要旨

3D物理的な現実世界の理解、航行、および探索は、人工知能の開発における中心的な課題となってきました。本研究では、周囲の環境についての事前の期待を形成する生成想像力によって導かれた複雑な具現化された世界の探索を計画することができるシステムであるGenExを紹介することで、この目標に一歩近づいています。GenExは、単一のRGB画像からでも完全な3D整合性のある想像上の環境を生成し、それをパノラマビデオストリームを通じて具現化します。Unreal Engineから収集されたスケーラブルな3Dワールドデータを活用して、弊社の生成モデルは物理世界に取り込まれています。それは、わずかな努力で連続した360度の環境を捉え、AIエージェントが探索および相互作用を行うための無限の景観を提供します。GenExは高品質の世界生成、長い軌跡にわたる堅牢なループの整合性を実現し、整合性やアクティブな3Dマッピングなどの強力な3D機能を示しています。世界の生成想像力によって強化されたGPT支援エージェントは、目標に無関係な探索と目標駆動型の航行の両方を含む複雑な具現化されたタスクを実行する能力を備えています。これらのエージェントは、物理世界の見えない部分に関する予測的な期待を利用して、信念を磨き、潜在的な決定に基づいて異なる結果をシミュレートし、より情報のある選択を行います。要約すると、GenExは具現化された空間での具現化されたAIの進化を促進する革新的なプラットフォームを提供し、これらの能力を現実世界の探索に拡張する可能性をもたらします。

English

Understanding, navigating, and exploring the 3D physical real world has long been a central challenge in the development of artificial intelligence. In this work, we take a step toward this goal by introducing GenEx, a system capable of planning complex embodied world exploration, guided by its generative imagination that forms priors (expectations) about the surrounding environments. GenEx generates an entire 3D-consistent imaginative environment from as little as a single RGB image, bringing it to life through panoramic video streams. Leveraging scalable 3D world data curated from Unreal Engine, our generative model is rounded in the physical world. It captures a continuous 360-degree environment with little effort, offering a boundless landscape for AI agents to explore and interact with. GenEx achieves high-quality world generation, robust loop consistency over long trajectories, and demonstrates strong 3D capabilities such as consistency and active 3D mapping. Powered by generative imagination of the world, GPT-assisted agents are equipped to perform complex embodied tasks, including both goal-agnostic exploration and goal-driven navigation. These agents utilize predictive expectation regarding unseen parts of the physical world to refine their beliefs, simulate different outcomes based on potential decisions, and make more informed choices. In summary, we demonstrate that GenEx provides a transformative platform for advancing embodied AI in imaginative spaces and brings potential for extending these capabilities to real-world exploration.