Skyfall-GS: Синтез иммерсивных 3D городских сцен на основе спутниковых изображений

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

October 17, 2025

Авторы: Jie-Ying Lee, Yi-Ruei Liu, Shr-Ruei Tsai, Wei-Cheng Chang, Chung-Ho Wu, Jiewen Chan, Zhenjun Zhao, Chieh Hubert Lin, Yu-Lun Liu

cs.AI

Аннотация

Создание масштабных, исследовательских и геометрически точных 3D-городских сцен является сложной, но ценной задачей для обеспечения иммерсивных и воплощенных приложений. Основные трудности связаны с отсутствием крупномасштабных и высококачественных 3D-сканирований реального мира для обучения обобщаемых генеративных моделей. В данной работе мы предлагаем альтернативный подход к созданию масштабных 3D-сцен, объединяя доступные спутниковые изображения, которые предоставляют реалистичную грубую геометрию, и открытую диффузионную модель для создания высококачественных детализированных текстур. Мы представляем Skyfall-GS — первую систему для создания 3D-сцен масштаба городского квартала без дорогостоящих 3D-аннотаций, которая также поддерживает интерактивное и иммерсивное исследование в реальном времени. Мы разработали стратегию итеративного улучшения, основанную на учебном плане, для постепенного повышения геометрической полноты и фотореалистичности текстур. Многочисленные эксперименты показывают, что Skyfall-GS обеспечивает улучшенную согласованность геометрии между видами и более реалистичные текстуры по сравнению с современными подходами. Страница проекта: https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/