EmbodiedGen: Rumo a um Motor de Mundo 3D Generativo para Inteligência Incorporada

EmbodiedGen: Towards a Generative 3D World Engine for Embodied Intelligence

June 12, 2025

Autores: Wang Xinjie, Liu Liu, Cao Yu, Wu Ruiqi, Qin Wenkang, Wang Dehui, Sui Wei, Su Zhizhong

cs.AI

Resumo

A construção de um mundo 3D simulado fisicamente realista e com escala precisa é crucial para o treinamento e avaliação de tarefas de inteligência incorporada. A diversidade, realismo, acessibilidade de baixo custo e acessibilidade dos ativos de dados 3D são fundamentais para alcançar generalização e escalabilidade na IA incorporada. No entanto, a maioria das tarefas atuais de inteligência incorporada ainda depende fortemente de ativos tradicionais de computação gráfica 3D criados e anotados manualmente, que sofrem com altos custos de produção e realismo limitado. Essas limitações dificultam significativamente a escalabilidade das abordagens baseadas em dados. Apresentamos o EmbodiedGen, uma plataforma fundamental para a geração interativa de mundos 3D. Ele permite a geração escalável de ativos 3D de alta qualidade, controláveis e foto-realísticos com propriedades físicas precisas e escala do mundo real no formato Unified Robotics Description Format (URDF) a um custo baixo. Esses ativos podem ser importados diretamente em vários motores de simulação física para controle físico refinado, apoiando tarefas subsequentes de treinamento e avaliação. O EmbodiedGen é um kit de ferramentas completo e fácil de usar composto por seis módulos principais: Imagem-para-3D, Texto-para-3D, Geração de Textura, Geração de Objetos Articulados, Geração de Cenário e Geração de Layout. O EmbodiedGen gera mundos 3D diversos e interativos compostos por ativos 3D generativos, aproveitando a IA generativa para enfrentar os desafios de generalização e avaliação das necessidades de pesquisa relacionadas à inteligência incorporada. O código está disponível em https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.

English

Constructing a physically realistic and accurately scaled simulated 3D world is crucial for the training and evaluation of embodied intelligence tasks. The diversity, realism, low cost accessibility and affordability of 3D data assets are critical for achieving generalization and scalability in embodied AI. However, most current embodied intelligence tasks still rely heavily on traditional 3D computer graphics assets manually created and annotated, which suffer from high production costs and limited realism. These limitations significantly hinder the scalability of data driven approaches. We present EmbodiedGen, a foundational platform for interactive 3D world generation. It enables the scalable generation of high-quality, controllable and photorealistic 3D assets with accurate physical properties and real-world scale in the Unified Robotics Description Format (URDF) at low cost. These assets can be directly imported into various physics simulation engines for fine-grained physical control, supporting downstream tasks in training and evaluation. EmbodiedGen is an easy-to-use, full-featured toolkit composed of six key modules: Image-to-3D, Text-to-3D, Texture Generation, Articulated Object Generation, Scene Generation and Layout Generation. EmbodiedGen generates diverse and interactive 3D worlds composed of generative 3D assets, leveraging generative AI to address the challenges of generalization and evaluation to the needs of embodied intelligence related research. Code is available at https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.