Skyfall-GS: Síntesis de Escenas Urbanas 3D Inmersivas a partir de Imágenes Satelitales

Resumen

La síntesis de escenas urbanas 3D a gran escala, explorables y geométricamente precisas es una tarea desafiante pero valiosa para proporcionar aplicaciones inmersivas y corporizadas. Los desafíos radican en la falta de escaneos 3D de alta calidad y a gran escala del mundo real para entrenar modelos generativos generalizables. En este artículo, adoptamos un enfoque alternativo para crear escenas 3D a gran escala al combinar imágenes satelitales fácilmente disponibles, que proporcionan una geometría aproximada realista, y un modelo de difusión de dominio abierto para generar apariencias de alta calidad en primeros planos. Proponemos Skyfall-GS, el primer marco de creación de escenas 3D a escala de manzana urbana sin costosas anotaciones 3D, que también ofrece una exploración 3D inmersiva en tiempo real. Adaptamos una estrategia de refinamiento iterativo basada en un currículo para mejorar progresivamente la completitud geométrica y las texturas fotorrealistas. Experimentos extensos demuestran que Skyfall-GS proporciona una geometría más consistente entre vistas y texturas más realistas en comparación con los enfoques más avanzados. Página del proyecto: https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/

Skyfall-GS: Síntesis de Escenas Urbanas 3D Inmersivas a partir de Imágenes Satelitales

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

Resumen

Support