EarthCrafter: Масштабируемая генерация 3D-Земли с использованием двунаправленного разреженного латентного диффузионного процесса

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

July 22, 2025

Авторы: Shang Liu, Chenjie Cao, Chaohui Yu, Wen Qian, Jing Wang, Fan Wang

cs.AI

Аннотация

Несмотря на впечатляющие достижения последних работ в области 3D-генерации, масштабирование этих методов до географических масштабов, таких как моделирование тысяч квадратных километров поверхности Земли, остается открытой проблемой. Мы решаем эту задачу за счет двойного нововведения в инфраструктуре данных и архитектуре модели. Во-первых, мы представляем Aerial-Earth3D — крупнейший на сегодняшний день набор данных 3D-аэрофотоснимков, состоящий из 50 тысяч тщательно отобранных сцен (каждая размером 600 м x 600 м), снятых на территории континентальной части США и включающих 45 миллионов многовидовых кадров Google Earth. Каждая сцена предоставляет многовидовые изображения с аннотированными позами, карты глубины, нормали, семантическую сегментацию и позы камер, с явным контролем качества для обеспечения разнообразия рельефа. На основе этого мы предлагаем EarthCrafter — специализированную платформу для крупномасштабной 3D-генерации Земли с использованием разреженно-разделенной латентной диффузии. Наша архитектура разделяет генерацию структуры и текстуры: 1) Двойные разреженные 3D-VAE сжимают высокоразрешающие геометрические воксели и текстуры 2D Gaussian Splats (2DGS) в компактные латентные пространства, значительно снижая затраты на вычисления, связанные с огромными географическими масштабами, при сохранении критически важной информации. 2) Мы предлагаем модели condition-aware flow matching, обученные на смешанных входных данных (семантика, изображения или их отсутствие), для гибкого независимого моделирования латентных геометрических и текстурных признаков. Многочисленные эксперименты показывают, что EarthCrafter значительно превосходит другие методы в генерации на чрезвычайно больших масштабах. Платформа также поддерживает разнообразные приложения, от семантически управляемой генерации городских ландшафтов до безусловного синтеза рельефа, сохраняя географическую правдоподобность благодаря нашим богатым априорным данным из Aerial-Earth3D. Страница проекта доступна по адресу: https://whiteinblue.github.io/earthcrafter/

English

Despite the remarkable developments achieved by recent 3D generation works, scaling these methods to geographic extents, such as modeling thousands of square kilometers of Earth's surface, remains an open challenge. We address this through a dual innovation in data infrastructure and model architecture. First, we introduce Aerial-Earth3D, the largest 3D aerial dataset to date, consisting of 50k curated scenes (each measuring 600m x 600m) captured across the U.S. mainland, comprising 45M multi-view Google Earth frames. Each scene provides pose-annotated multi-view images, depth maps, normals, semantic segmentation, and camera poses, with explicit quality control to ensure terrain diversity. Building on this foundation, we propose EarthCrafter, a tailored framework for large-scale 3D Earth generation via sparse-decoupled latent diffusion. Our architecture separates structural and textural generation: 1) Dual sparse 3D-VAEs compress high-resolution geometric voxels and textural 2D Gaussian Splats (2DGS) into compact latent spaces, largely alleviating the costly computation suffering from vast geographic scales while preserving critical information. 2) We propose condition-aware flow matching models trained on mixed inputs (semantics, images, or neither) to flexibly model latent geometry and texture features independently. Extensive experiments demonstrate that EarthCrafter performs substantially better in extremely large-scale generation. The framework further supports versatile applications, from semantic-guided urban layout generation to unconditional terrain synthesis, while maintaining geographic plausibility through our rich data priors from Aerial-Earth3D. Our project page is available at https://whiteinblue.github.io/earthcrafter/