GenEx : Génération d'un Monde Explorable

GenEx: Generating an Explorable World

December 12, 2024

Auteurs: Taiming Lu, Tianmin Shu, Junfei Xiao, Luoxin Ye, Jiahao Wang, Cheng Peng, Chen Wei, Daniel Khashabi, Rama Chellappa, Alan Yuille, Jieneng Chen

cs.AI

Résumé

Comprendre, naviguer et explorer le monde physique en 3D a longtemps été un défi central dans le développement de l'intelligence artificielle. Dans ce travail, nous avançons vers cet objectif en introduisant GenEx, un système capable de planifier une exploration complexe du monde incarné, guidé par son imagination générative qui forme des a priori (attentes) sur les environnements environnants. GenEx génère un environnement imaginaire entièrement cohérent en 3D à partir d'une simple image RGB, le rendant vivant à travers des flux vidéo panoramiques. En exploitant des données mondiales 3D évolutives issues d'Unreal Engine, notre modèle génératif est ancré dans le monde physique. Il capture un environnement continu à 360 degrés avec peu d'effort, offrant un paysage illimité pour que les agents d'IA explorent et interagissent. GenEx atteint une génération de monde de haute qualité, une cohérence de boucle robuste sur de longues trajectoires, et démontre de fortes capacités en 3D telles que la cohérence et la cartographie 3D active. Alimentés par l'imagination générative du monde, les agents assistés par GPT sont équipés pour accomplir des tâches incarnées complexes, comprenant à la fois une exploration sans but précis et une navigation orientée par un objectif. Ces agents utilisent des attentes prédictives concernant les parties invisibles du monde physique pour affiner leurs croyances, simuler différents résultats basés sur des décisions potentielles, et prendre des choix plus éclairés. En résumé, nous démontrons que GenEx fournit une plateforme transformative pour faire progresser l'IA incarnée dans des espaces imaginaires et ouvre la voie à l'extension de ces capacités à l'exploration du monde réel.

English

Understanding, navigating, and exploring the 3D physical real world has long been a central challenge in the development of artificial intelligence. In this work, we take a step toward this goal by introducing GenEx, a system capable of planning complex embodied world exploration, guided by its generative imagination that forms priors (expectations) about the surrounding environments. GenEx generates an entire 3D-consistent imaginative environment from as little as a single RGB image, bringing it to life through panoramic video streams. Leveraging scalable 3D world data curated from Unreal Engine, our generative model is rounded in the physical world. It captures a continuous 360-degree environment with little effort, offering a boundless landscape for AI agents to explore and interact with. GenEx achieves high-quality world generation, robust loop consistency over long trajectories, and demonstrates strong 3D capabilities such as consistency and active 3D mapping. Powered by generative imagination of the world, GPT-assisted agents are equipped to perform complex embodied tasks, including both goal-agnostic exploration and goal-driven navigation. These agents utilize predictive expectation regarding unseen parts of the physical world to refine their beliefs, simulate different outcomes based on potential decisions, and make more informed choices. In summary, we demonstrate that GenEx provides a transformative platform for advancing embodied AI in imaginative spaces and brings potential for extending these capabilities to real-world exploration.