Skyfall-GS: Synthese immersiver 3D-Stadtszenen aus Satellitenbildern
Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery
October 17, 2025
papers.authors: Jie-Ying Lee, Yi-Ruei Liu, Shr-Ruei Tsai, Wei-Cheng Chang, Chung-Ho Wu, Jiewen Chan, Zhenjun Zhao, Chieh Hubert Lin, Yu-Lun Liu
cs.AI
papers.abstract
Die Synthese großflächiger, erkundbarer und geometrisch präziser 3D-Stadtszenen ist eine anspruchsvolle, aber wertvolle Aufgabe, um immersive und verkörperte Anwendungen zu ermöglichen. Die Herausforderungen liegen in der fehlenden Verfügbarkeit großflächiger und hochwertiger 3D-Scans der realen Welt, die für das Training generalisierbarer generativer Modelle benötigt werden. In diesem Artikel schlagen wir einen alternativen Ansatz vor, um großflächige 3D-Szenen zu erstellen, indem wir die leicht verfügbaren Satellitenbilder, die realistische grobe Geometrie liefern, mit dem Open-Domain-Diffusionsmodell zur Erstellung hochwertiger Nahaufnahmen kombinieren. Wir präsentieren Skyfall-GS, das erste Framework zur Erstellung von 3D-Szenen im Maßstab eines Stadtblocks ohne kostspielige 3D-Annotationen, das zudem eine Echtzeit- und immersive 3D-Erkundung ermöglicht. Wir entwickeln eine curriculumgesteuerte iterative Verfeinerungsstrategie, um die geometrische Vollständigkeit und fotorealistische Texturen schrittweise zu verbessern. Umfangreiche Experimente zeigen, dass Skyfall-GS im Vergleich zu modernsten Ansätzen eine verbesserte konsistente Geometrie über verschiedene Blickwinkel und realistischere Texturen bietet. Projektseite: https://skyfall-gs.jayinnn.dev/
English
Synthesizing large-scale, explorable, and geometrically accurate 3D urban
scenes is a challenging yet valuable task in providing immersive and embodied
applications. The challenges lie in the lack of large-scale and high-quality
real-world 3D scans for training generalizable generative models. In this
paper, we take an alternative route to create large-scale 3D scenes by
synergizing the readily available satellite imagery that supplies realistic
coarse geometry and the open-domain diffusion model for creating high-quality
close-up appearances. We propose Skyfall-GS, the first city-block
scale 3D scene creation framework without costly 3D annotations, also featuring
real-time, immersive 3D exploration. We tailor a curriculum-driven iterative
refinement strategy to progressively enhance geometric completeness and
photorealistic textures. Extensive experiments demonstrate that Skyfall-GS
provides improved cross-view consistent geometry and more realistic textures
compared to state-of-the-art approaches. Project page:
https://skyfall-gs.jayinnn.dev/