WorldGen: Von Text zu begehbaren und interaktiven 3D-Welten
WorldGen: From Text to Traversable and Interactive 3D Worlds
November 20, 2025
papers.authors: Dilin Wang, Hyunyoung Jung, Tom Monnier, Kihyuk Sohn, Chuhang Zou, Xiaoyu Xiang, Yu-Ying Yeh, Di Liu, Zixuan Huang, Thu Nguyen-Phuoc, Yuchen Fan, Sergiu Oprea, Ziyan Wang, Roman Shapovalov, Nikolaos Sarafianos, Thibault Groueix, Antoine Toisoul, Prithviraj Dhar, Xiao Chu, Minghao Chen, Geon Yeong Park, Mahima Gupta, Yassir Azziz, Rakesh Ranjan, Andrea Vedaldi
cs.AI
papers.abstract
Wir stellen WorldGen vor, ein System zur automatischen Erstellung großflächiger, interaktiver 3D-Welten direkt aus Textprompts. Unser Ansatz verwandelt natürliche Sprachbeschreibungen in begehbare, vollständig texturierte Umgebungen, die sofort in Standard-Spiele-Engines erkundet oder bearbeitet werden können. Durch die Kombination von LLM-gesteuerter Szenenlayoutplanung, prozeduraler Generierung, diffusionsbasierter 3D-Generierung und objektbewusster Szenenzersetzung überbrückt WorldGen die Lücke zwischen kreativer Absicht und funktionalen virtuellen Räumen. Dies ermöglicht Entwicklern die Erstellung kohärenter, begehbarer Welten ohne manuelle Modellierung oder spezielle 3D-Expertise. Das System ist vollständig modular und unterstützt feingranulare Kontrolle über Layout, Skalierung und Stil, wodurch geometrisch konsistente, visuell reichhaltige Welten entstehen, die in Echtzeit effizient gerendert werden können. Diese Arbeit stellt einen Schritt hin zu zugänglicher, generativer Weltenerschaffung im großen Maßstab dar und erweitert die Grenzen der generativen 3D-KI für Anwendungen in Gaming, Simulation und immersiven sozialen Umgebungen.
English
We introduce WorldGen, a system that enables the automatic creation of large-scale, interactive 3D worlds directly from text prompts. Our approach transforms natural language descriptions into traversable, fully textured environments that can be immediately explored or edited within standard game engines. By combining LLM-driven scene layout reasoning, procedural generation, diffusion-based 3D generation, and object-aware scene decomposition, WorldGen bridges the gap between creative intent and functional virtual spaces, allowing creators to design coherent, navigable worlds without manual modeling or specialized 3D expertise. The system is fully modular and supports fine-grained control over layout, scale, and style, producing worlds that are geometrically consistent, visually rich, and efficient to render in real time. This work represents a step towards accessible, generative world-building at scale, advancing the frontier of 3D generative AI for applications in gaming, simulation, and immersive social environments.