Sat3DGen: Uitgebreide 3D-scenegeneratie op straatniveau vanuit één satellietbeeld

Samenvatting

Het genereren van een 3D-scène op straatniveau uit een enkele satellietafbeelding is een cruciale maar uitdagende taak. Huidige methoden vertonen een scherpe afweging: geometrie-kleuringmodellen bereiken een hoge geometrische getrouwheid, maar zijn doorgaans gebouwgericht en missen semantische diversiteit. Daarentegen gebruiken proxy-gebaseerde modellen feed-forward beeld-naar-3D raamwerken om holistische scènes te genereren door gelijktijdig geometrie en textuur te leren, een proces dat rijke inhoud oplevert maar grove en onstabiele geometrie. Wij wijten deze geometrische tekortkomingen aan de extreme gezichtspuntkloof en de schaarse, inconsistente supervisie die inherent zijn aan satelliet-naar-straat data. We introduceren Sat3DGen om deze fundamentele uitdagingen aan te pakken, wat een geometrie-eerst methodologie belichaamt. Deze methodologie verbetert het feed-forward paradigma door het integreren van nieuwe geometrische beperkingen met een perspectiefaanzicht trainingsstrategie, waarmee de primaire bronnen van geometrische fouten expliciet worden tegengegaan. Deze geometriegerichte strategie levert een dramatische sprong op in zowel 3D-nauwkeurigheid als fotorealisme. Ter validatie hebben we eerst een nieuwe benchmark geconstrueerd door de VIGOR-OOD testset te combineren met hoge-resolutie DSM-data. Op deze benchmark verbetert onze methode de geometrische RMSE van 6.76m naar 5.20m. Cruciaal is dat deze geometrische sprong ook het fotorealisme verbetert, waardoor de Fréchet Inception Distance (FID) daalt van sim40 naar 19 ten opzichte van de toonaangevende methode Sat2Density++, ondanks het gebruik van geen extra op maat gemaakte beeldkwaliteitsmodules. We demonstreren de veelzijdigheid van onze hoogwaardige 3D-assets door diverse stroomafwaartse toepassingen, waaronder semantische-kaart-naar-3D synthese, multi-camera videogeneratie, grootschalige meshing en ongesuperviseerde schatting van een digitaal oppervlaktemodel (DSM) op basis van één beeld. De code is uitgebracht op https://github.com/qianmingduowan/Sat3DGen.

English

Generating a street-level 3D scene from a single satellite image is a crucial yet challenging task. Current methods present a stark trade-off: geometry-colorization models achieve high geometric fidelity but are typically building-focused and lack semantic diversity. In contrast, proxy-based models use feed-forward image-to-3D frameworks to generate holistic scenes by jointly learning geometry and texture, a process that yields rich content but coarse and unstable geometry. We attribute these geometric failures to the extreme viewpoint gap and sparse, inconsistent supervision inherent in satellite-to-street data. We introduce Sat3DGen to address these fundamental challenges, which embodies a geometry-first methodology. This methodology enhances the feed-forward paradigm by integrating novel geometric constraints with a perspective-view training strategy, explicitly countering the primary sources of geometric error. This geometry-centric strategy yields a dramatic leap in both 3D accuracy and photorealism. For validation, we first constructed a new benchmark by pairing the VIGOR-OOD test set with high-resolution DSM data. On this benchmark, our method improves geometric RMSE from 6.76m to 5.20m. Crucially, this geometric leap also boosts photorealism, reducing the Fréchet Inception Distance (FID) from sim40 to 19 against the leading method, Sat2Density++, despite using no extra tailored image-quality modules. We demonstrate the versatility of our high-quality 3D assets through diverse downstream applications, including semantic-map-to-3D synthesis, multi-camera video generation, large-scale meshing, and unsupervised single-image Digital Surface Model (DSM) estimation. The code has been released on https://github.com/qianmingduowan/Sat3DGen.