GaMO: Геометрически осознанное многовидовое диффузионное расширение для 3D-реконструкции по разреженным видам
GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction
December 31, 2025
Авторы: Yi-Chuan Huang, Hao-Jen Chien, Chin-Yang Lin, Ying-Huan Chen, Yu-Lun Liu
cs.AI
Аннотация
Последние достижения в области 3D-реконструкции позволили добиться значительного прогресса в высококачественном захвате сцен на основе плотных мульти-вью изображений, однако они сталкиваются с трудностями при ограниченном количестве входных видов. Для решения этой проблемы были реализованы различные подходы, включая методы регуляризации, семантические априорные данные и геометрические ограничения. Новейшие методы на основе диффузии продемонстрировали существенное улучшение за счет генерации новых видов с новых позиций камеры для дополнения обучающих данных, превзойдя более ранние методы, основанные на регуляризации и априорных знаниях. Несмотря на этот прогресс, мы выявили три ключевых ограничения в этих передовых подходах: недостаточный охват за пределами периферии известных видов, геометрическая несогласованность между сгенерированными видами и вычислительно сложные конвейеры. Мы представляем GaMO (Geometry-aware Multi-view Outpainter) — фреймворк, который переосмысливает реконструкцию по разреженным видам через мульти-вью экспансию. Вместо генерации новых точек обзора GaMO расширяет поле зрения из существующих позиций камеры, что изначально сохраняет геометрическую согласованность, обеспечивая при этом более широкий охват сцены. Наш подход использует мульти-вью кондиционирование и стратегии шумоподавления с учетом геометрии в zero-shot режиме без обучения. Обширные эксперименты на наборах данных Replica и ScanNet++ демонстрируют передовое качество реконструкции для 3, 6 и 9 входных видов, превосходя предыдущие методы по PSNR и LPIPS, при этом достигая 25-кратного ускорения по сравнению с современными методами на основе диффузии и времени обработки менее 10 минут. Страница проекта: https://yichuanh.github.io/GaMO/
English
Recent advances in 3D reconstruction have achieved remarkable progress in high-quality scene capture from dense multi-view imagery, yet struggle when input views are limited. Various approaches, including regularization techniques, semantic priors, and geometric constraints, have been implemented to address this challenge. Latest diffusion-based methods have demonstrated substantial improvements by generating novel views from new camera poses to augment training data, surpassing earlier regularization and prior-based techniques. Despite this progress, we identify three critical limitations in these state-of-the-art approaches: inadequate coverage beyond known view peripheries, geometric inconsistencies across generated views, and computationally expensive pipelines. We introduce GaMO (Geometry-aware Multi-view Outpainter), a framework that reformulates sparse-view reconstruction through multi-view outpainting. Instead of generating new viewpoints, GaMO expands the field of view from existing camera poses, which inherently preserves geometric consistency while providing broader scene coverage. Our approach employs multi-view conditioning and geometry-aware denoising strategies in a zero-shot manner without training. Extensive experiments on Replica and ScanNet++ demonstrate state-of-the-art reconstruction quality across 3, 6, and 9 input views, outperforming prior methods in PSNR and LPIPS, while achieving a 25times speedup over SOTA diffusion-based methods with processing time under 10 minutes. Project page: https://yichuanh.github.io/GaMO/