Skyfall-GS : Synthèse de scènes urbaines 3D immersives à partir d'images satellitaires

papers.abstract

La synthèse de scènes urbaines 3D à grande échelle, explorables et géométriquement précises est une tâche complexe mais essentielle pour offrir des applications immersives et incarnées. Les défis résident dans le manque de scans 3D de grande envergure et de haute qualité provenant du monde réel pour entraîner des modèles génératifs généralisables. Dans cet article, nous empruntons une voie alternative pour créer des scènes 3D à grande échelle en combinant les images satellitaires facilement accessibles, qui fournissent une géométrie approximative réaliste, et un modèle de diffusion à domaine ouvert pour générer des apparences de haute qualité en vue rapprochée. Nous proposons Skyfall-GS, le premier cadre de création de scènes 3D à l'échelle d'un pâté de maisons sans annotations 3D coûteuses, offrant également une exploration 3D immersive en temps réel. Nous adaptons une stratégie de raffinement itératif pilotée par un curriculum pour améliorer progressivement la complétude géométrique et les textures photoréalistes. Des expériences approfondies démontrent que Skyfall-GS fournit une géométrie plus cohérente entre les vues et des textures plus réalistes par rapport aux approches de pointe. Page du projet : https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/

Skyfall-GS : Synthèse de scènes urbaines 3D immersives à partir d'images satellitaires

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

papers.abstract

Support