Skyfall-GS: Síntese de Cenas Urbanas 3D Imersivas a partir de Imagens de Satélite

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

October 17, 2025

Autores: Jie-Ying Lee, Yi-Ruei Liu, Shr-Ruei Tsai, Wei-Cheng Chang, Chung-Ho Wu, Jiewen Chan, Zhenjun Zhao, Chieh Hubert Lin, Yu-Lun Liu

cs.AI

Resumo

A síntese de cenas urbanas 3D em grande escala, exploráveis e geometricamente precisas é uma tarefa desafiadora, porém valiosa, para fornecer aplicações imersivas e incorporadas. Os desafios residem na escassez de varreduras 3D em grande escala e de alta qualidade do mundo real para treinar modelos generativos generalizáveis. Neste artigo, adotamos uma abordagem alternativa para criar cenas 3D em grande escala, combinando imagens de satélite prontamente disponíveis, que fornecem geometria grosseira realista, e o modelo de difusão de domínio aberto para criar aparências de close-up de alta qualidade. Propomos o Skyfall-GS, o primeiro framework de criação de cenas 3D em escala de quarteirão sem anotações 3D custosas, que também oferece exploração 3D imersiva em tempo real. Adaptamos uma estratégia de refinamento iterativo orientada por currículo para aprimorar progressivamente a completude geométrica e as texturas fotorrealistas. Experimentos extensivos demonstram que o Skyfall-GS fornece geometria consistente entre visões aprimorada e texturas mais realistas em comparação com as abordagens state-of-the-art. Página do projeto: https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/