Skyfall-GS: 衛星画像からの没入型3D都市シーンの合成

要旨

大規模で探索可能かつ幾何学的に正確な3D都市シーンの合成は、没入型で身体的なアプリケーションを提供する上で困難ながらも価値のある課題です。その難しさは、汎用的な生成モデルを訓練するための大規模で高品質な実世界の3Dスキャンデータの不足にあります。本論文では、現実的な粗い幾何学を提供する衛星画像と、高品質なクローズアップ外観を作成するためのオープンドメイン拡散モデルを融合させることで、大規模な3Dシーンを作成する代替ルートを提案します。私たちは、Skyfall-GSという、高コストな3Dアノテーションを必要とせずにシティブロックスケールの3Dシーンを作成する初めてのフレームワークを提案します。このフレームワークは、リアルタイムで没入型の3D探索も特徴としています。幾何学的な完全性とフォトリアルなテクスチャを段階的に向上させるために、カリキュラム駆動型の反復改良戦略をカスタマイズしました。広範な実験により、Skyfall-GSが最先端のアプローチと比較して、クロスビュー一貫性のある幾何学とより現実的なテクスチャを提供することが実証されています。プロジェクトページ: https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/

Skyfall-GS: 衛星画像からの没入型3D都市シーンの合成

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

要旨

Support