Skyfall-GS: Synthetiseren van Meeslepende 3D Stedelijke Scènes uit Satellietbeelden

Samenvatting

Het synthetiseren van grootschalige, verkennbare en geometrisch nauwkeurige 3D-stedelijke scènes is een uitdagende maar waardevolle taak voor het bieden van immersieve en belichaamde toepassingen. De uitdagingen liggen in het gebrek aan grootschalige en hoogwaardige 3D-scans uit de echte wereld voor het trainen van generaliseerbare generatieve modellen. In dit artikel nemen we een alternatieve route om grootschalige 3D-scènes te creëren door het combineren van gemakkelijk beschikbare satellietbeelden die realistische grove geometrie leveren en het open-domein diffusiemodel voor het creëren van hoogwaardige close-up verschijningen. We stellen Skyfall-GS voor, het eerste raamwerk voor het creëren van 3D-scènes op stadsblokschaal zonder kostbare 3D-annotaties, dat ook realtime, immersieve 3D-verkenning biedt. We passen een curriculum-gestuurde iteratieve verfijningsstrategie toe om de geometrische volledigheid en fotorealistische texturen geleidelijk te verbeteren. Uitgebreide experimenten tonen aan dat Skyfall-GS verbeterde consistentie in geometrie tussen verschillende perspectieven en realistischer texturen biedt in vergelijking met state-of-the-art benaderingen. Projectpagina: https://skyfall-gs.jayinnn.dev/

English

Synthesizing large-scale, explorable, and geometrically accurate 3D urban scenes is a challenging yet valuable task in providing immersive and embodied applications. The challenges lie in the lack of large-scale and high-quality real-world 3D scans for training generalizable generative models. In this paper, we take an alternative route to create large-scale 3D scenes by synergizing the readily available satellite imagery that supplies realistic coarse geometry and the open-domain diffusion model for creating high-quality close-up appearances. We propose Skyfall-GS, the first city-block scale 3D scene creation framework without costly 3D annotations, also featuring real-time, immersive 3D exploration. We tailor a curriculum-driven iterative refinement strategy to progressively enhance geometric completeness and photorealistic textures. Extensive experiments demonstrate that Skyfall-GS provides improved cross-view consistent geometry and more realistic textures compared to state-of-the-art approaches. Project page: https://skyfall-gs.jayinnn.dev/

Skyfall-GS: Synthetiseren van Meeslepende 3D Stedelijke Scènes uit Satellietbeelden

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

Samenvatting

Support