EarthCrafter: Generación Escalable de Tierras 3D mediante Difusión Latente Dual-Esparsa

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

July 22, 2025

Autores: Shang Liu, Chenjie Cao, Chaohui Yu, Wen Qian, Jing Wang, Fan Wang

cs.AI

Resumen

A pesar de los notables avances logrados por los trabajos recientes en generación 3D, escalar estos métodos a extensiones geográficas, como modelar miles de kilómetros cuadrados de la superficie terrestre, sigue siendo un desafío abierto. Abordamos esto mediante una doble innovación en infraestructura de datos y arquitectura de modelos. En primer lugar, presentamos Aerial-Earth3D, el mayor conjunto de datos aéreos 3D hasta la fecha, que consta de 50k escenas curadas (cada una de 600m x 600m) capturadas en el territorio continental de EE. UU., compuesto por 45M imágenes multi-vista de Google Earth. Cada escena proporciona imágenes multi-vista anotadas con poses, mapas de profundidad, normales, segmentación semántica y poses de cámara, con un control de calidad explícito para garantizar la diversidad del terreno. Sobre esta base, proponemos EarthCrafter, un marco personalizado para la generación 3D a gran escala de la Tierra mediante difusión latente escasa-desacoplada. Nuestra arquitectura separa la generación estructural y textural: 1) Los VAEs 3D escasos duales comprimen vóxeles geométricos de alta resolución y Splats Gaussianos 2D (2DGS) en espacios latentes compactos, aliviando en gran medida el costoso cálculo derivado de las vastas escalas geográficas mientras preservan la información crítica. 2) Proponemos modelos de emparejamiento de flujo conscientes de la condición entrenados con entradas mixtas (semántica, imágenes o ninguna) para modelar de manera flexible las características latentes de geometría y textura de forma independiente. Experimentos extensos demuestran que EarthCrafter funciona sustancialmente mejor en la generación a escala extremadamente grande. El marco además soporta aplicaciones versátiles, desde la generación de diseños urbanos guiados por semántica hasta la síntesis incondicional de terrenos, manteniendo la plausibilidad geográfica a través de nuestros ricos datos previos de Aerial-Earth3D. Nuestra página del proyecto está disponible en https://whiteinblue.github.io/earthcrafter/.

English

Despite the remarkable developments achieved by recent 3D generation works, scaling these methods to geographic extents, such as modeling thousands of square kilometers of Earth's surface, remains an open challenge. We address this through a dual innovation in data infrastructure and model architecture. First, we introduce Aerial-Earth3D, the largest 3D aerial dataset to date, consisting of 50k curated scenes (each measuring 600m x 600m) captured across the U.S. mainland, comprising 45M multi-view Google Earth frames. Each scene provides pose-annotated multi-view images, depth maps, normals, semantic segmentation, and camera poses, with explicit quality control to ensure terrain diversity. Building on this foundation, we propose EarthCrafter, a tailored framework for large-scale 3D Earth generation via sparse-decoupled latent diffusion. Our architecture separates structural and textural generation: 1) Dual sparse 3D-VAEs compress high-resolution geometric voxels and textural 2D Gaussian Splats (2DGS) into compact latent spaces, largely alleviating the costly computation suffering from vast geographic scales while preserving critical information. 2) We propose condition-aware flow matching models trained on mixed inputs (semantics, images, or neither) to flexibly model latent geometry and texture features independently. Extensive experiments demonstrate that EarthCrafter performs substantially better in extremely large-scale generation. The framework further supports versatile applications, from semantic-guided urban layout generation to unconditional terrain synthesis, while maintaining geographic plausibility through our rich data priors from Aerial-Earth3D. Our project page is available at https://whiteinblue.github.io/earthcrafter/