WorldGen: Dal Testo a Mondi 3D Percorribili e Interattivi
WorldGen: From Text to Traversable and Interactive 3D Worlds
November 20, 2025
Autori: Dilin Wang, Hyunyoung Jung, Tom Monnier, Kihyuk Sohn, Chuhang Zou, Xiaoyu Xiang, Yu-Ying Yeh, Di Liu, Zixuan Huang, Thu Nguyen-Phuoc, Yuchen Fan, Sergiu Oprea, Ziyan Wang, Roman Shapovalov, Nikolaos Sarafianos, Thibault Groueix, Antoine Toisoul, Prithviraj Dhar, Xiao Chu, Minghao Chen, Geon Yeong Park, Mahima Gupta, Yassir Azziz, Rakesh Ranjan, Andrea Vedaldi
cs.AI
Abstract
Introduciamo WorldGen, un sistema che consente la creazione automatica di mondi 3D interattivi su larga scala direttamente da prompt testuali. Il nostro approccio trasforma descrizioni in linguaggio naturale in ambienti percorribili e completamente texturizzati che possono essere esplorati o modificati immediatamente all'interno di motori grafici standard. Combinando ragionamento sulla disposizione della scena guidato da LLM, generazione procedurale, generazione 3D basata su modelli di diffusione e scomposizione della scena con consapevolezza degli oggetti, WorldGen colma il divario tra intento creativo e spazi virtuali funzionali, permettendo ai creatori di progettare mondi coerenti e navigabili senza modellazione manuale o competenze specialistiche in 3D. Il sistema è completamente modulare e supporta un controllo granulare su layout, scala e stile, producendo mondi geometricamente consistenti, visivamente ricchi ed efficienti nel rendering in tempo reale. Questo lavoro rappresenta un passo verso la creazione generativa e accessibile di mondi su larga scala, avanzando la frontiera dell'IA generativa 3D per applicazioni nel gaming, nella simulazione e in ambienti sociali immersivi.
English
We introduce WorldGen, a system that enables the automatic creation of large-scale, interactive 3D worlds directly from text prompts. Our approach transforms natural language descriptions into traversable, fully textured environments that can be immediately explored or edited within standard game engines. By combining LLM-driven scene layout reasoning, procedural generation, diffusion-based 3D generation, and object-aware scene decomposition, WorldGen bridges the gap between creative intent and functional virtual spaces, allowing creators to design coherent, navigable worlds without manual modeling or specialized 3D expertise. The system is fully modular and supports fine-grained control over layout, scale, and style, producing worlds that are geometrically consistent, visually rich, and efficient to render in real time. This work represents a step towards accessible, generative world-building at scale, advancing the frontier of 3D generative AI for applications in gaming, simulation, and immersive social environments.