EmbodiedGen: Auf dem Weg zu einer generativen 3D-Welt-Engine für verkörperte Intelligenz

EmbodiedGen: Towards a Generative 3D World Engine for Embodied Intelligence

June 12, 2025

Autoren: Wang Xinjie, Liu Liu, Cao Yu, Wu Ruiqi, Qin Wenkang, Wang Dehui, Sui Wei, Su Zhizhong

cs.AI

Zusammenfassung

Die Konstruktion einer physikalisch realistischen und maßstabsgetreuen simulierten 3D-Welt ist entscheidend für das Training und die Bewertung von Aufgaben der verkörperten Intelligenz. Die Vielfalt, der Realismus, die niedrigen Kosten, die Zugänglichkeit und die Erschwinglichkeit von 3D-Datenressourcen sind von zentraler Bedeutung, um Generalisierung und Skalierbarkeit in der verkörperten KI zu erreichen. Dennoch stützen sich die meisten aktuellen Aufgaben der verkörperten Intelligenz stark auf traditionelle 3D-Computergrafikressourcen, die manuell erstellt und annotiert werden und unter hohen Produktionskosten sowie begrenztem Realismus leiden. Diese Einschränkungen behindern die Skalierbarkeit datengetriebener Ansätze erheblich. Wir präsentieren EmbodiedGen, eine grundlegende Plattform für die interaktive 3D-Weltgenerierung. Sie ermöglicht die skalierbare Erzeugung hochwertiger, kontrollierbarer und fotorealistischer 3D-Ressourcen mit präzisen physikalischen Eigenschaften und realistischem Maßstab im Unified Robotics Description Format (URDF) zu geringen Kosten. Diese Ressourcen können direkt in verschiedene Physik-Simulations-Engines importiert werden, um eine fein abgestimmte physikalische Steuerung zu ermöglichen und nachgelagerte Aufgaben in Training und Bewertung zu unterstützen. EmbodiedGen ist ein benutzerfreundliches, vollständig ausgestattetes Toolkit, das aus sechs Schlüsselmodulen besteht: Bild-zu-3D, Text-zu-3D, Texturgenerierung, Generierung artikulierter Objekte, Szenengenerierung und Layoutgenerierung. EmbodiedGen erzeugt vielfältige und interaktive 3D-Welten, die aus generativen 3D-Ressourcen bestehen, und nutzt generative KI, um die Herausforderungen der Generalisierung und Bewertung im Hinblick auf die Anforderungen der verkörperten Intelligenzforschung zu bewältigen. Der Code ist verfügbar unter https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.

English

Constructing a physically realistic and accurately scaled simulated 3D world is crucial for the training and evaluation of embodied intelligence tasks. The diversity, realism, low cost accessibility and affordability of 3D data assets are critical for achieving generalization and scalability in embodied AI. However, most current embodied intelligence tasks still rely heavily on traditional 3D computer graphics assets manually created and annotated, which suffer from high production costs and limited realism. These limitations significantly hinder the scalability of data driven approaches. We present EmbodiedGen, a foundational platform for interactive 3D world generation. It enables the scalable generation of high-quality, controllable and photorealistic 3D assets with accurate physical properties and real-world scale in the Unified Robotics Description Format (URDF) at low cost. These assets can be directly imported into various physics simulation engines for fine-grained physical control, supporting downstream tasks in training and evaluation. EmbodiedGen is an easy-to-use, full-featured toolkit composed of six key modules: Image-to-3D, Text-to-3D, Texture Generation, Articulated Object Generation, Scene Generation and Layout Generation. EmbodiedGen generates diverse and interactive 3D worlds composed of generative 3D assets, leveraging generative AI to address the challenges of generalization and evaluation to the needs of embodied intelligence related research. Code is available at https://horizonrobotics.github.io/robot_lab/embodied_gen/index.html.