WorldGrow: Genereren van Oneindige 3D-Werelden

WorldGrow: Generating Infinite 3D World

October 24, 2025

Auteurs: Sikuang Li, Chen Yang, Jiemin Fang, Taoran Yi, Jia Lu, Jiazhong Cen, Lingxi Xie, Wei Shen, Qi Tian

cs.AI

Samenvatting

Wij pakken de uitdaging aan om een oneindig uitbreidbare 3D-wereld te genereren – grote, doorlopende omgevingen met coherente geometrie en realistische uitstraling. Bestaande methoden kampen met belangrijke problemen: 2D-liftingbenaderingen lijden onder geometrische- en uiterlijke inconsistenties tussen verschillende aanzichten, 3D-impliciete representaties zijn moeilijk op te schalen, en huidige 3D-foundationmodellen zijn vooral objectgecentreerd, wat hun toepasbaarheid op scèneniveau beperkt. Onze kerninzicht is het benutten van sterke generatie-priors van vooraf getrainde 3D-modellen voor gestructureerde scèneblokgeneratie. Hiertoe stellen wij WorldGrow voor, een hiërarchisch raamwerk voor onbegrensde 3D-scènesynthese. Onze methode omvat drie kernelementen: (1) een datacuratiepijplijn die hoogwaardige scèneblokken voor training extraheert, waardoor de gestructureerde 3D-latente representaties geschikt worden voor scènegeneratie; (2) een 3D-blokinpaintingsmechanisme dat contextbewuste scène-uitbreiding mogelijk maakt; en (3) een coarse-to-fine-generatiestrategie die zowel de globale lay-outgeloofwaardigheid als de lokale geometrische/texturele nauwkeurigheid waarborgt. Geëvalueerd op de grootschalige 3D-FRONT-dataset behaalt WorldGrow state-of-the-art prestaties in geometriereconstructie, terwijl het uniek ondersteuning biedt voor oneindige scènegeneratie met fotorealistische en structureel consistente resultaten. Deze resultaten onderstrepen de capaciteit voor het construeren van grootschalige virtuele omgevingen en de potentie voor het bouwen van toekomstige wereldmodellen.

English

We tackle the challenge of generating the infinitely extendable 3D world -- large, continuous environments with coherent geometry and realistic appearance. Existing methods face key challenges: 2D-lifting approaches suffer from geometric and appearance inconsistencies across views, 3D implicit representations are hard to scale up, and current 3D foundation models are mostly object-centric, limiting their applicability to scene-level generation. Our key insight is leveraging strong generation priors from pre-trained 3D models for structured scene block generation. To this end, we propose WorldGrow, a hierarchical framework for unbounded 3D scene synthesis. Our method features three core components: (1) a data curation pipeline that extracts high-quality scene blocks for training, making the 3D structured latent representations suitable for scene generation; (2) a 3D block inpainting mechanism that enables context-aware scene extension; and (3) a coarse-to-fine generation strategy that ensures both global layout plausibility and local geometric/textural fidelity. Evaluated on the large-scale 3D-FRONT dataset, WorldGrow achieves SOTA performance in geometry reconstruction, while uniquely supporting infinite scene generation with photorealistic and structurally consistent outputs. These results highlight its capability for constructing large-scale virtual environments and potential for building future world models.