EarthCrafter: Generazione Scalabile della Terra in 3D tramite Diffusione Latente Dual-Sparsa

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

July 22, 2025

Autori: Shang Liu, Chenjie Cao, Chaohui Yu, Wen Qian, Jing Wang, Fan Wang

cs.AI

Abstract

Nonostante i notevoli progressi ottenuti dai recenti lavori sulla generazione 3D, scalare questi metodi a estensioni geografiche, come la modellazione di migliaia di chilometri quadrati della superficie terrestre, rimane una sfida aperta. Affrontiamo questo problema attraverso una duplice innovazione nell'infrastruttura dei dati e nell'architettura del modello. In primo luogo, introduciamo Aerial-Earth3D, il più grande dataset aereo 3D fino ad oggi, composto da 50k scene curate (ciascuna di 600m x 600m) catturate in tutto il territorio continentale degli Stati Uniti, comprendenti 45M frame multi-vista di Google Earth. Ogni scena fornisce immagini multi-vista annotate con pose, mappe di profondità, normali, segmentazione semantica e pose della telecamera, con un controllo di qualità esplicito per garantire la diversità del terreno. Basandoci su questa base, proponiamo EarthCrafter, un framework su misura per la generazione 3D su larga scala della Terra tramite diffusione latente sparsa-disaccoppiata. La nostra architettura separa la generazione strutturale e quella testurale: 1) Dual sparse 3D-VAEs comprimono voxel geometrici ad alta risoluzione e splatting 2D Gaussiani (2DGS) testurali in spazi latenti compatti, allevando in gran parte il costo computazionale derivante dalle vaste scale geografiche pur preservando le informazioni critiche. 2) Proponiamo modelli di flow matching consapevoli delle condizioni, addestrati su input misti (semantica, immagini o nessuno dei due) per modellare flessibilmente le caratteristiche geometriche e testurali latenti in modo indipendente. Esperimenti estensivi dimostrano che EarthCrafter performa sostanzialmente meglio nella generazione su scala estremamente ampia. Il framework supporta ulteriormente applicazioni versatili, dalla generazione di layout urbani guidati dalla semantica alla sintesi incondizionata del terreno, mantenendo la plausibilità geografica attraverso i nostri ricchi dati a priori di Aerial-Earth3D. La nostra pagina del progetto è disponibile all'indirizzo https://whiteinblue.github.io/earthcrafter/

English

Despite the remarkable developments achieved by recent 3D generation works, scaling these methods to geographic extents, such as modeling thousands of square kilometers of Earth's surface, remains an open challenge. We address this through a dual innovation in data infrastructure and model architecture. First, we introduce Aerial-Earth3D, the largest 3D aerial dataset to date, consisting of 50k curated scenes (each measuring 600m x 600m) captured across the U.S. mainland, comprising 45M multi-view Google Earth frames. Each scene provides pose-annotated multi-view images, depth maps, normals, semantic segmentation, and camera poses, with explicit quality control to ensure terrain diversity. Building on this foundation, we propose EarthCrafter, a tailored framework for large-scale 3D Earth generation via sparse-decoupled latent diffusion. Our architecture separates structural and textural generation: 1) Dual sparse 3D-VAEs compress high-resolution geometric voxels and textural 2D Gaussian Splats (2DGS) into compact latent spaces, largely alleviating the costly computation suffering from vast geographic scales while preserving critical information. 2) We propose condition-aware flow matching models trained on mixed inputs (semantics, images, or neither) to flexibly model latent geometry and texture features independently. Extensive experiments demonstrate that EarthCrafter performs substantially better in extremely large-scale generation. The framework further supports versatile applications, from semantic-guided urban layout generation to unconditional terrain synthesis, while maintaining geographic plausibility through our rich data priors from Aerial-Earth3D. Our project page is available at https://whiteinblue.github.io/earthcrafter/