Sat3DGen: Всесторонняя генерация трехмерных сцен на уровне улицы из одного спутникового изображения

Аннотация

Генерация трёхмерной сцены на уровне улицы по одному спутниковому снимку является важной, но сложной задачей. Современные методы демонстрируют резкий компромисс: модели геометрической раскраски достигают высокой геометрической точности, но обычно ориентированы на здания и лишены семантического разнообразия. Напротив, модели на основе прокси используют прямые архитектуры «изображение-в-3D» для генерации целостных сцен путём совместного изучения геометрии и текстуры — процесс, который даёт богатое содержание, но грубую и нестабильную геометрию. Мы объясняем эти геометрические неудачи экстремальным разрывом в ракурсах и разреженным, несогласованным контролем, присущим данным перехода от спутника к улице. Мы представляем Sat3DGen для решения этих фундаментальных проблем, который воплощает методологию «геометрия в первую очередь». Эта методология улучшает парадигму прямого предсказания путём интеграции новых геометрических ограничений и стратегии обучения с перспективным видом, явно противодействуя основным источникам геометрических ошибок. Эта геометрически-центрированная стратегия приводит к значительному скачку как в точности 3D, так и в фотореализме. Для валидации мы сначала построили новый эталон, объединив тестовый набор VIGOR-OOD с данными цифровой модели рельефа (DSM) высокого разрешения. На этом эталоне наш метод улучшает среднеквадратичную ошибку геометрии (RMSE) с 6,76 м до 5,20 м. Ключевым образом, этот геометрический скачок также улучшает фотореализм, снижая расстояние Фреше по начальным слоям (FID) с 40 до 19 по сравнению с ведущим методом Sat2Density++, несмотря на отсутствие дополнительных специализированных модулей улучшения качества изображения. Мы демонстрируем универсальность наших высококачественных 3D-активов через разнообразные последующие приложения, включая синтез 3D по семантическим картам, генерацию многокамерного видео, крупномасштабное построение сеток и безконтрольную оценку цифровой модели рельефа (ЦМР) по одному изображению. Код опубликован на https://github.com/qianmingduowan/Sat3DGen.

English

Generating a street-level 3D scene from a single satellite image is a crucial yet challenging task. Current methods present a stark trade-off: geometry-colorization models achieve high geometric fidelity but are typically building-focused and lack semantic diversity. In contrast, proxy-based models use feed-forward image-to-3D frameworks to generate holistic scenes by jointly learning geometry and texture, a process that yields rich content but coarse and unstable geometry. We attribute these geometric failures to the extreme viewpoint gap and sparse, inconsistent supervision inherent in satellite-to-street data. We introduce Sat3DGen to address these fundamental challenges, which embodies a geometry-first methodology. This methodology enhances the feed-forward paradigm by integrating novel geometric constraints with a perspective-view training strategy, explicitly countering the primary sources of geometric error. This geometry-centric strategy yields a dramatic leap in both 3D accuracy and photorealism. For validation, we first constructed a new benchmark by pairing the VIGOR-OOD test set with high-resolution DSM data. On this benchmark, our method improves geometric RMSE from 6.76m to 5.20m. Crucially, this geometric leap also boosts photorealism, reducing the Fréchet Inception Distance (FID) from sim40 to 19 against the leading method, Sat2Density++, despite using no extra tailored image-quality modules. We demonstrate the versatility of our high-quality 3D assets through diverse downstream applications, including semantic-map-to-3D synthesis, multi-camera video generation, large-scale meshing, and unsupervised single-image Digital Surface Model (DSM) estimation. The code has been released on https://github.com/qianmingduowan/Sat3DGen.