EmbodiedGen: Hacia un motor generativo de mundos 3D para la inteligencia corporeizada

EmbodiedGen: Towards a Generative 3D World Engine for Embodied Intelligence

June 12, 2025

Autores: Wang Xinjie, Liu Liu, Cao Yu, Wu Ruiqi, Qin Wenkang, Wang Dehui, Sui Wei, Su Zhizhong

cs.AI

Resumen

La construcción de un mundo 3D simulado físicamente realista y escalado con precisión es crucial para el entrenamiento y evaluación de tareas de inteligencia corporeizada. La diversidad, realismo, accesibilidad de bajo costo y asequibilidad de los activos de datos 3D son fundamentales para lograr generalización y escalabilidad en la IA corporeizada. Sin embargo, la mayoría de las tareas actuales de inteligencia corporeizada aún dependen en gran medida de activos tradicionales de gráficos 3D creados y anotados manualmente, los cuales sufren de altos costos de producción y un realismo limitado. Estas limitaciones dificultan significativamente la escalabilidad de los enfoques basados en datos. Presentamos EmbodiedGen, una plataforma fundamental para la generación interactiva de mundos 3D. Permite la generación escalable de activos 3D de alta calidad, controlables y fotorrealistas con propiedades físicas precisas y escala del mundo real en el Formato de Descripción de Robótica Unificada (URDF) a bajo costo. Estos activos pueden importarse directamente en varios motores de simulación física para un control físico detallado, apoyando tareas posteriores en entrenamiento y evaluación. EmbodiedGen es un kit de herramientas fácil de usar y con todas las funciones, compuesto por seis módulos clave: Imagen-a-3D, Texto-a-3D, Generación de Texturas, Generación de Objetos Articulados, Generación de Escenas y Generación de Diseño. EmbodiedGen genera mundos 3D diversos e interactivos compuestos por activos 3D generativos, aprovechando la IA generativa para abordar los desafíos de generalización y evaluación en relación con las necesidades de investigación en inteligencia corporeizada. El código está disponible en https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.

English

Constructing a physically realistic and accurately scaled simulated 3D world is crucial for the training and evaluation of embodied intelligence tasks. The diversity, realism, low cost accessibility and affordability of 3D data assets are critical for achieving generalization and scalability in embodied AI. However, most current embodied intelligence tasks still rely heavily on traditional 3D computer graphics assets manually created and annotated, which suffer from high production costs and limited realism. These limitations significantly hinder the scalability of data driven approaches. We present EmbodiedGen, a foundational platform for interactive 3D world generation. It enables the scalable generation of high-quality, controllable and photorealistic 3D assets with accurate physical properties and real-world scale in the Unified Robotics Description Format (URDF) at low cost. These assets can be directly imported into various physics simulation engines for fine-grained physical control, supporting downstream tasks in training and evaluation. EmbodiedGen is an easy-to-use, full-featured toolkit composed of six key modules: Image-to-3D, Text-to-3D, Texture Generation, Articulated Object Generation, Scene Generation and Layout Generation. EmbodiedGen generates diverse and interactive 3D worlds composed of generative 3D assets, leveraging generative AI to address the challenges of generalization and evaluation to the needs of embodied intelligence related research. Code is available at https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.