WorldGen: Van Tekst naar Begaanbare en Interactieve 3D-werelden
WorldGen: From Text to Traversable and Interactive 3D Worlds
November 20, 2025
Auteurs: Dilin Wang, Hyunyoung Jung, Tom Monnier, Kihyuk Sohn, Chuhang Zou, Xiaoyu Xiang, Yu-Ying Yeh, Di Liu, Zixuan Huang, Thu Nguyen-Phuoc, Yuchen Fan, Sergiu Oprea, Ziyan Wang, Roman Shapovalov, Nikolaos Sarafianos, Thibault Groueix, Antoine Toisoul, Prithviraj Dhar, Xiao Chu, Minghao Chen, Geon Yeong Park, Mahima Gupta, Yassir Azziz, Rakesh Ranjan, Andrea Vedaldi
cs.AI
Samenvatting
Wij introduceren WorldGen, een systeem dat de automatische creatie van grootschalige, interactieve 3D-werelden rechtstreeks vanuit tekstprompts mogelijk maakt. Onze aanpak transformeert beschrijvingen in natuurlijke taal naar begaanbare, volledig getextureerde omgevingen die onmiddellijk verkend of bewerkt kunnen worden binnen standaard game-engines. Door LLM-gestuurd redeneren over scène-indeling, procedurele generatie, diffusie-gebaseerde 3D-generatie en objectbewuste scène-decompositie te combineren, overbrugt WorldGen de kloof tussen creatieve intentie en functionele virtuele ruimtes. Hierdoor kunnen ontwerpers coherente, begaanbare werelden creëren zonder handmatig modelleren of gespecialiseerde 3D-expertise. Het systeem is volledig modulair en ondersteunt gedetailleerde controle over lay-out, schaal en stijl, waardoor werelden worden geproduceerd die geometrisch consistent, visueel rijk en efficiënt in realtime te renderen zijn. Dit werk vertegenwoordigt een stap richting toegankelijke, generatieve wereldbouw op grote schaal, en verlegt de grenzen van generatieve AI voor 3D-toepassingen in gaming, simulatie en immersieve sociale omgevingen.
English
We introduce WorldGen, a system that enables the automatic creation of large-scale, interactive 3D worlds directly from text prompts. Our approach transforms natural language descriptions into traversable, fully textured environments that can be immediately explored or edited within standard game engines. By combining LLM-driven scene layout reasoning, procedural generation, diffusion-based 3D generation, and object-aware scene decomposition, WorldGen bridges the gap between creative intent and functional virtual spaces, allowing creators to design coherent, navigable worlds without manual modeling or specialized 3D expertise. The system is fully modular and supports fine-grained control over layout, scale, and style, producing worlds that are geometrically consistent, visually rich, and efficient to render in real time. This work represents a step towards accessible, generative world-building at scale, advancing the frontier of 3D generative AI for applications in gaming, simulation, and immersive social environments.