EarthCrafter: Geração Escalável de Terrenos 3D via Difusão Latente Dual-Esparsa

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

July 22, 2025

Autores: Shang Liu, Chenjie Cao, Chaohui Yu, Wen Qian, Jing Wang, Fan Wang

cs.AI

Resumo

Apesar dos notáveis avanços alcançados pelos recentes trabalhos de geração 3D, a escalabilidade desses métodos para extensões geográficas, como a modelagem de milhares de quilômetros quadrados da superfície terrestre, continua sendo um desafio em aberto. Abordamos isso por meio de uma dupla inovação na infraestrutura de dados e na arquitetura do modelo. Primeiro, apresentamos o Aerial-Earth3D, o maior conjunto de dados aéreos 3D até o momento, composto por 50 mil cenas curadas (cada uma medindo 600m x 600m) capturadas em todo o território continental dos EUA, abrangendo 45 milhões de quadros multi-visão do Google Earth. Cada cena fornece imagens multi-visão anotadas com pose, mapas de profundidade, normais, segmentação semântica e poses da câmera, com controle de qualidade explícito para garantir diversidade de terreno. Com base nisso, propomos o EarthCrafter, uma estrutura personalizada para geração 3D em grande escala da Terra via difusão latente esparsa-desacoplada. Nossa arquitetura separa a geração estrutural e textural: 1) Dual sparse 3D-VAEs comprimem voxels geométricos de alta resolução e Splats Gaussianos 2D texturais (2DGS) em espaços latentes compactos, aliviando significativamente o custo computacional associado a vastas escalas geográficas, enquanto preservam informações críticas. 2) Propomos modelos de correspondência de fluxo condicionados treinados em entradas mistas (semântica, imagens ou nenhuma) para modelar de forma flexível características latentes de geometria e textura de maneira independente. Experimentos extensivos demonstram que o EarthCrafter tem um desempenho substancialmente melhor na geração em escala extremamente grande. A estrutura ainda suporta aplicações versáteis, desde a geração de layouts urbanos guiados por semântica até a síntese incondicional de terrenos, mantendo a plausibilidade geográfica por meio de nossos ricos priors de dados do Aerial-Earth3D. Nossa página do projeto está disponível em https://whiteinblue.github.io/earthcrafter/

English

Despite the remarkable developments achieved by recent 3D generation works, scaling these methods to geographic extents, such as modeling thousands of square kilometers of Earth's surface, remains an open challenge. We address this through a dual innovation in data infrastructure and model architecture. First, we introduce Aerial-Earth3D, the largest 3D aerial dataset to date, consisting of 50k curated scenes (each measuring 600m x 600m) captured across the U.S. mainland, comprising 45M multi-view Google Earth frames. Each scene provides pose-annotated multi-view images, depth maps, normals, semantic segmentation, and camera poses, with explicit quality control to ensure terrain diversity. Building on this foundation, we propose EarthCrafter, a tailored framework for large-scale 3D Earth generation via sparse-decoupled latent diffusion. Our architecture separates structural and textural generation: 1) Dual sparse 3D-VAEs compress high-resolution geometric voxels and textural 2D Gaussian Splats (2DGS) into compact latent spaces, largely alleviating the costly computation suffering from vast geographic scales while preserving critical information. 2) We propose condition-aware flow matching models trained on mixed inputs (semantics, images, or neither) to flexibly model latent geometry and texture features independently. Extensive experiments demonstrate that EarthCrafter performs substantially better in extremely large-scale generation. The framework further supports versatile applications, from semantic-guided urban layout generation to unconditional terrain synthesis, while maintaining geographic plausibility through our rich data priors from Aerial-Earth3D. Our project page is available at https://whiteinblue.github.io/earthcrafter/