EarthCrafter: Schaalbare 3D-aardegeneratie via Dual-Sparse Latente Diffusie

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

July 22, 2025

Auteurs: Shang Liu, Chenjie Cao, Chaohui Yu, Wen Qian, Jing Wang, Fan Wang

cs.AI

Samenvatting

Ondanks de opmerkelijke ontwikkelingen die recente 3D-generatiewerkzaamheden hebben bereikt, blijft het schalen van deze methoden naar geografische omvang, zoals het modelleren van duizenden vierkante kilometers van het aardoppervlak, een open uitdaging. Wij pakken dit aan door een dubbele innovatie in data-infrastructuur en modelarchitectuur. Ten eerste introduceren we Aerial-Earth3D, de grootste 3D-luchtdataset tot nu toe, bestaande uit 50k gecureerde scènes (elk 600m x 600m) die zijn vastgelegd over het vasteland van de VS, bestaande uit 45M multi-view Google Earth-frames. Elke scène biedt pose-geannoteerde multi-view afbeeldingen, dieptekaarten, normalen, semantische segmentatie en cameraposes, met expliciete kwaliteitscontrole om terreindiversiteit te waarborgen. Op basis hiervan stellen we EarthCrafter voor, een op maat gemaakt framework voor grootschalige 3D-aardegeneratie via sparse-decoupled latent diffusion. Onze architectuur scheidt structurele en textuurgeneratie: 1) Dual sparse 3D-VAEs comprimeren hoogresolutie geometrische voxels en textuur-2D Gaussian Splats (2DGS) in compacte latente ruimtes, waardoor de kostbare berekeningen die gepaard gaan met enorme geografische schaal grotendeels worden verlicht, terwijl kritieke informatie behouden blijft. 2) We stellen condition-aware flow matching-modellen voor die getraind zijn op gemengde invoer (semantiek, afbeeldingen of geen van beide) om flexibel latente geometrie- en textuurkenmerken onafhankelijk te modelleren. Uitgebreide experimenten tonen aan dat EarthCrafter aanzienlijk beter presteert in extreem grootschalige generatie. Het framework ondersteunt verder veelzijdige toepassingen, van semantisch geleide stadslay-outgeneratie tot onvoorwaardelijke terreinsynthese, terwijl geografische geloofwaardigheid wordt behouden door onze rijke datapriors van Aerial-Earth3D. Onze projectpagina is beschikbaar op https://whiteinblue.github.io/earthcrafter/.

English

Despite the remarkable developments achieved by recent 3D generation works, scaling these methods to geographic extents, such as modeling thousands of square kilometers of Earth's surface, remains an open challenge. We address this through a dual innovation in data infrastructure and model architecture. First, we introduce Aerial-Earth3D, the largest 3D aerial dataset to date, consisting of 50k curated scenes (each measuring 600m x 600m) captured across the U.S. mainland, comprising 45M multi-view Google Earth frames. Each scene provides pose-annotated multi-view images, depth maps, normals, semantic segmentation, and camera poses, with explicit quality control to ensure terrain diversity. Building on this foundation, we propose EarthCrafter, a tailored framework for large-scale 3D Earth generation via sparse-decoupled latent diffusion. Our architecture separates structural and textural generation: 1) Dual sparse 3D-VAEs compress high-resolution geometric voxels and textural 2D Gaussian Splats (2DGS) into compact latent spaces, largely alleviating the costly computation suffering from vast geographic scales while preserving critical information. 2) We propose condition-aware flow matching models trained on mixed inputs (semantics, images, or neither) to flexibly model latent geometry and texture features independently. Extensive experiments demonstrate that EarthCrafter performs substantially better in extremely large-scale generation. The framework further supports versatile applications, from semantic-guided urban layout generation to unconditional terrain synthesis, while maintaining geographic plausibility through our rich data priors from Aerial-Earth3D. Our project page is available at https://whiteinblue.github.io/earthcrafter/