Skyfall-GS: 위성 이미지에서 몰입형 3D 도시 장면 합성하기

초록

대규모, 탐색 가능하며 기하학적으로 정확한 3D 도시 장면을 합성하는 것은 몰입적이고 체화된 애플리케이션을 제공하는 데 있어 도전적이면서도 가치 있는 과제입니다. 이러한 도전은 일반화 가능한 생성 모델을 훈련시키기 위한 대규모 및 고품질의 실세계 3D 스캔 데이터의 부족에서 비롯됩니다. 본 논문에서는 현실적인 대략적인 기하학을 제공하는 위성 이미지와 고품질의 근접 모습을 생성하기 위한 오픈 도메인 확산 모델을 융합하여 대규모 3D 장면을 생성하는 대안적인 접근 방식을 제안합니다. 우리는 Skyfall-GS를 제안하는데, 이는 비용이 많이 드는 3D 주석 없이도 도시 블록 규모의 3D 장면을 생성하는 최초의 프레임워크이며, 실시간 몰입형 3D 탐색 기능을 특징으로 합니다. 우리는 기하학적 완성도와 사실적인 텍스처를 점진적으로 향상시키기 위해 커리큘럼 기반의 반복적 정제 전략을 맞춤화했습니다. 광범위한 실험을 통해 Skyfall-GS가 최신 기술 접근법과 비교하여 개선된 교차 뷰 일관성 기하학과 더 현실적인 텍스처를 제공함을 입증했습니다. 프로젝트 페이지: https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/

Skyfall-GS: 위성 이미지에서 몰입형 3D 도시 장면 합성하기

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

초록

Support