EarthCrafter : Génération évolutive de la Terre en 3D via une diffusion latente doublement parcimonieuse

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

July 22, 2025

papers.authors: Shang Liu, Chenjie Cao, Chaohui Yu, Wen Qian, Jing Wang, Fan Wang

cs.AI

papers.abstract

Malgré les avancées remarquables réalisées par les travaux récents en génération 3D, la mise à l'échelle de ces méthodes à des étendues géographiques, telles que la modélisation de milliers de kilomètres carrés de la surface terrestre, reste un défi ouvert. Nous abordons ce problème grâce à une double innovation en matière d'infrastructure de données et d'architecture de modèle. Tout d'abord, nous présentons Aerial-Earth3D, le plus grand ensemble de données aériennes 3D à ce jour, composé de 50 000 scènes soigneusement sélectionnées (chacune mesurant 600 m x 600 m) capturées à travers le continent américain, comprenant 45 millions d'images multi-vues de Google Earth. Chaque scène fournit des images multi-vues annotées avec des poses, des cartes de profondeur, des normales, une segmentation sémantique et des poses de caméra, avec un contrôle de qualité explicite pour garantir la diversité du terrain. Sur cette base, nous proposons EarthCrafter, un cadre sur mesure pour la génération 3D à grande échelle de la Terre via une diffusion latente sparse-découplée. Notre architecture sépare la génération structurelle et texturale : 1) Des VAEs 3D doubles sparse compressent des voxels géométriques haute résolution et des splats gaussiens texturaux 2D (2DGS) dans des espaces latents compacts, atténuant largement les calculs coûteux liés aux vastes échelles géographiques tout en préservant les informations critiques. 2) Nous proposons des modèles de correspondance de flux conditionnels entraînés sur des entrées mixtes (sémantiques, images, ou aucune) pour modéliser de manière flexible les caractéristiques géométriques et texturales latentes de manière indépendante. Des expériences approfondies démontrent qu'EarthCrafter performe nettement mieux dans la génération à très grande échelle. Le cadre supporte en outre des applications variées, allant de la génération de plans urbains guidés par la sémantique à la synthèse de terrains inconditionnelle, tout en maintenant une plausibilité géographique grâce à nos riches a priori de données provenant d'Aerial-Earth3D. Notre page de projet est disponible à l'adresse https://whiteinblue.github.io/earthcrafter/.

English

Despite the remarkable developments achieved by recent 3D generation works, scaling these methods to geographic extents, such as modeling thousands of square kilometers of Earth's surface, remains an open challenge. We address this through a dual innovation in data infrastructure and model architecture. First, we introduce Aerial-Earth3D, the largest 3D aerial dataset to date, consisting of 50k curated scenes (each measuring 600m x 600m) captured across the U.S. mainland, comprising 45M multi-view Google Earth frames. Each scene provides pose-annotated multi-view images, depth maps, normals, semantic segmentation, and camera poses, with explicit quality control to ensure terrain diversity. Building on this foundation, we propose EarthCrafter, a tailored framework for large-scale 3D Earth generation via sparse-decoupled latent diffusion. Our architecture separates structural and textural generation: 1) Dual sparse 3D-VAEs compress high-resolution geometric voxels and textural 2D Gaussian Splats (2DGS) into compact latent spaces, largely alleviating the costly computation suffering from vast geographic scales while preserving critical information. 2) We propose condition-aware flow matching models trained on mixed inputs (semantics, images, or neither) to flexibly model latent geometry and texture features independently. Extensive experiments demonstrate that EarthCrafter performs substantially better in extremely large-scale generation. The framework further supports versatile applications, from semantic-guided urban layout generation to unconditional terrain synthesis, while maintaining geographic plausibility through our rich data priors from Aerial-Earth3D. Our project page is available at https://whiteinblue.github.io/earthcrafter/