Skyfall-GS: Sintesi di Scene Urbane 3D Immersive da Immagini Satellitari

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

October 17, 2025

Autori: Jie-Ying Lee, Yi-Ruei Liu, Shr-Ruei Tsai, Wei-Cheng Chang, Chung-Ho Wu, Jiewen Chan, Zhenjun Zhao, Chieh Hubert Lin, Yu-Lun Liu

cs.AI

Abstract

La sintesi di scene urbane 3D su larga scala, esplorabili e geometricamente accurate è un compito impegnativo ma di grande valore per fornire applicazioni immersive e incarnate. Le sfide risiedono nella mancanza di scansioni 3D su larga scala e di alta qualità del mondo reale per addestrare modelli generativi generalizzabili. In questo articolo, seguiamo un percorso alternativo per creare scene 3D su larga scala, sinergizzando le immagini satellitari facilmente disponibili, che forniscono una geometria approssimativa realistica, e il modello di diffusione a dominio aperto per creare apparenze ravvicinate di alta qualità. Proponiamo Skyfall-GS, il primo framework di creazione di scene 3D su scala di isolato senza costose annotazioni 3D, caratterizzato anche da un'esplorazione 3D immersiva in tempo reale. Adottiamo una strategia di raffinamento iterativo guidata da un curriculum per migliorare progressivamente la completezza geometrica e le texture fotorealistiche. Esperimenti estesi dimostrano che Skyfall-GS fornisce una geometria coerente tra le viste e texture più realistiche rispetto agli approcci all'avanguardia. Pagina del progetto: https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/