GenEx: Gerando um Mundo Explorável

GenEx: Generating an Explorable World

December 12, 2024

Autores: Taiming Lu, Tianmin Shu, Junfei Xiao, Luoxin Ye, Jiahao Wang, Cheng Peng, Chen Wei, Daniel Khashabi, Rama Chellappa, Alan Yuille, Jieneng Chen

cs.AI

Resumo

Compreender, navegar e explorar o mundo físico 3D sempre foi um desafio central no desenvolvimento da inteligência artificial. Neste trabalho, damos um passo em direção a esse objetivo ao apresentar o GenEx, um sistema capaz de planejar a exploração complexa do mundo incorporado, guiado por sua imaginação generativa que forma prioridades (expectativas) sobre os ambientes circundantes. O GenEx gera um ambiente imaginativo inteiramente consistente em 3D a partir de uma única imagem RGB, dando vida a ele por meio de fluxos de vídeo panorâmicos. Aproveitando dados de mundo 3D escaláveis curados do Unreal Engine, nosso modelo generativo está enraizado no mundo físico. Ele captura um ambiente contínuo de 360 graus com pouco esforço, oferecendo uma paisagem ilimitada para agentes de IA explorarem e interagirem. O GenEx alcança geração de mundo de alta qualidade, consistência robusta ao longo de trajetórias longas e demonstra fortes capacidades 3D, como consistência e mapeamento 3D ativo. Impulsionados pela imaginação generativa do mundo, os agentes assistidos por GPT estão equipados para realizar tarefas incorporadas complexas, incluindo exploração sem objetivo específico e navegação orientada por objetivos. Esses agentes utilizam expectativas preditivas sobre partes não vistas do mundo físico para refinar suas crenças, simular diferentes resultados com base em decisões potenciais e fazer escolhas mais informadas. Em resumo, demonstramos que o GenEx fornece uma plataforma transformadora para avançar a IA incorporada em espaços imaginativos e traz potencial para estender essas capacidades para a exploração do mundo real.

English

Understanding, navigating, and exploring the 3D physical real world has long been a central challenge in the development of artificial intelligence. In this work, we take a step toward this goal by introducing GenEx, a system capable of planning complex embodied world exploration, guided by its generative imagination that forms priors (expectations) about the surrounding environments. GenEx generates an entire 3D-consistent imaginative environment from as little as a single RGB image, bringing it to life through panoramic video streams. Leveraging scalable 3D world data curated from Unreal Engine, our generative model is rounded in the physical world. It captures a continuous 360-degree environment with little effort, offering a boundless landscape for AI agents to explore and interact with. GenEx achieves high-quality world generation, robust loop consistency over long trajectories, and demonstrates strong 3D capabilities such as consistency and active 3D mapping. Powered by generative imagination of the world, GPT-assisted agents are equipped to perform complex embodied tasks, including both goal-agnostic exploration and goal-driven navigation. These agents utilize predictive expectation regarding unseen parts of the physical world to refine their beliefs, simulate different outcomes based on potential decisions, and make more informed choices. In summary, we demonstrate that GenEx provides a transformative platform for advancing embodied AI in imaginative spaces and brings potential for extending these capabilities to real-world exploration.