EmbodiedGen: Op weg naar een generatieve 3D-wereldengine voor belichaamde intelligentie

EmbodiedGen: Towards a Generative 3D World Engine for Embodied Intelligence

June 12, 2025

Auteurs: Wang Xinjie, Liu Liu, Cao Yu, Wu Ruiqi, Qin Wenkang, Wang Dehui, Sui Wei, Su Zhizhong

cs.AI

Samenvatting

Het construeren van een fysiek realistisch en nauwkeurig geschaalde gesimuleerde 3D-wereld is cruciaal voor de training en evaluatie van taken voor belichaamde intelligentie. De diversiteit, realisme, lage kosten, toegankelijkheid en betaalbaarheid van 3D-data-assets zijn essentieel voor het bereiken van generalisatie en schaalbaarheid in belichaamde AI. De meeste huidige taken voor belichaamde intelligentie zijn echter nog steeds sterk afhankelijk van traditionele 3D-computergraphics-assets die handmatig zijn gemaakt en geannoteerd, wat gepaard gaat met hoge productiekosten en beperkt realisme. Deze beperkingen belemmeren de schaalbaarheid van data-gedreven benaderingen aanzienlijk. Wij presenteren EmbodiedGen, een fundamenteel platform voor de interactieve generatie van 3D-werelden. Het maakt de schaalbare generatie mogelijk van hoogwaardige, controleerbare en fotorealistische 3D-assets met nauwkeurige fysieke eigenschappen en realistische schaal in het Unified Robotics Description Format (URDF) tegen lage kosten. Deze assets kunnen direct worden geïmporteerd in verschillende fysica-simulatie-engines voor fijnmazige fysieke controle, wat ondersteuning biedt voor downstream taken in training en evaluatie. EmbodiedGen is een gebruiksvriendelijke, volledig uitgeruste toolkit die bestaat uit zes belangrijke modules: Image-to-3D, Text-to-3D, Texture Generation, Articulated Object Generation, Scene Generation en Layout Generation. EmbodiedGen genereert diverse en interactieve 3D-werelden die bestaan uit generatieve 3D-assets, waarbij gebruik wordt gemaakt van generatieve AI om de uitdagingen van generalisatie en evaluatie aan te pakken in lijn met de behoeften van onderzoek gerelateerd aan belichaamde intelligentie. Code is beschikbaar op https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.

English

Constructing a physically realistic and accurately scaled simulated 3D world is crucial for the training and evaluation of embodied intelligence tasks. The diversity, realism, low cost accessibility and affordability of 3D data assets are critical for achieving generalization and scalability in embodied AI. However, most current embodied intelligence tasks still rely heavily on traditional 3D computer graphics assets manually created and annotated, which suffer from high production costs and limited realism. These limitations significantly hinder the scalability of data driven approaches. We present EmbodiedGen, a foundational platform for interactive 3D world generation. It enables the scalable generation of high-quality, controllable and photorealistic 3D assets with accurate physical properties and real-world scale in the Unified Robotics Description Format (URDF) at low cost. These assets can be directly imported into various physics simulation engines for fine-grained physical control, supporting downstream tasks in training and evaluation. EmbodiedGen is an easy-to-use, full-featured toolkit composed of six key modules: Image-to-3D, Text-to-3D, Texture Generation, Articulated Object Generation, Scene Generation and Layout Generation. EmbodiedGen generates diverse and interactive 3D worlds composed of generative 3D assets, leveraging generative AI to address the challenges of generalization and evaluation to the needs of embodied intelligence related research. Code is available at https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.