EarthCrafter: デュアルスパース潜在拡散によるスケーラブルな3D地球生成

要旨

近年の3D生成技術は目覚ましい進展を遂げているものの、数千平方キロメートルに及ぶ地球表面のモデリングといった地理的スケールへの適用は未解決の課題である。本研究では、データ基盤とモデルアーキテクチャの二重の革新を通じてこの課題に取り組む。まず、米国本土全域で撮影された50,000の精選されたシーン（各600m×600m）からなる、45MのマルチビューGoogle Earthフレームを含む、これまでで最大の3D航空データセット「Aerial-Earth3D」を導入する。各シーンは、ポーズ注釈付きのマルチビュー画像、深度マップ、法線マップ、セマンティックセグメンテーション、カメラポーズを提供し、地形の多様性を確保するための明示的な品質管理が施されている。この基盤に基づき、スパース分離潜在拡散を介した大規模3D地球生成のための特化フレームワーク「EarthCrafter」を提案する。本アーキテクチャは、構造生成とテクスチャ生成を分離する：1）デュアルスパース3D-VAEは、高解像度の幾何学的ボクセルとテクスチャ2Dガウススプラット（2DGS）をコンパクトな潜在空間に圧縮し、広大な地理的スケールに伴う高コストな計算を大幅に軽減しながら、重要な情報を保持する。2）混合入力（セマンティクス、画像、またはどちらもなし）で訓練された条件付きフローマッチングモデルを提案し、潜在的な幾何学とテクスチャ特徴を柔軟に独立してモデル化する。大規模な実験により、EarthCrafterが極めて大規模な生成において大幅に優れた性能を発揮することが示された。本フレームワークは、セマンティックガイドによる都市レイアウト生成から無条件の地形合成まで、多様なアプリケーションをサポートし、Aerial-Earth3Dからの豊富なデータ事前情報を通じて地理的な妥当性を維持する。プロジェクトページはhttps://whiteinblue.github.io/earthcrafter/で公開されている。

English

Despite the remarkable developments achieved by recent 3D generation works, scaling these methods to geographic extents, such as modeling thousands of square kilometers of Earth's surface, remains an open challenge. We address this through a dual innovation in data infrastructure and model architecture. First, we introduce Aerial-Earth3D, the largest 3D aerial dataset to date, consisting of 50k curated scenes (each measuring 600m x 600m) captured across the U.S. mainland, comprising 45M multi-view Google Earth frames. Each scene provides pose-annotated multi-view images, depth maps, normals, semantic segmentation, and camera poses, with explicit quality control to ensure terrain diversity. Building on this foundation, we propose EarthCrafter, a tailored framework for large-scale 3D Earth generation via sparse-decoupled latent diffusion. Our architecture separates structural and textural generation: 1) Dual sparse 3D-VAEs compress high-resolution geometric voxels and textural 2D Gaussian Splats (2DGS) into compact latent spaces, largely alleviating the costly computation suffering from vast geographic scales while preserving critical information. 2) We propose condition-aware flow matching models trained on mixed inputs (semantics, images, or neither) to flexibly model latent geometry and texture features independently. Extensive experiments demonstrate that EarthCrafter performs substantially better in extremely large-scale generation. The framework further supports versatile applications, from semantic-guided urban layout generation to unconditional terrain synthesis, while maintaining geographic plausibility through our rich data priors from Aerial-Earth3D. Our project page is available at https://whiteinblue.github.io/earthcrafter/

EarthCrafter: デュアルスパース潜在拡散によるスケーラブルな3D地球生成

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

要旨

Support