GaMO: Extrapolação por Difusão Multi-visual com Consciência Geométrica para Reconstrução 3D com Visuais Escassos

GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

December 31, 2025

Autores: Yi-Chuan Huang, Hao-Jen Chien, Chin-Yang Lin, Ying-Huan Chen, Yu-Lun Liu

cs.AI

Resumo

Os recentes avanços na reconstrução 3D têm alcançado progresso notável na captura de alta qualidade de cenas a partir de imagens densas de múltiplas vistas, mas enfrentam dificuldades quando as vistas de entrada são limitadas. Diversas abordagens, incluindo técnicas de regularização, prévios semânticos e restrições geométricas, foram implementadas para enfrentar este desafio. Os mais recentes métodos baseados em difusão demonstraram melhorias substanciais ao gerar novas vistas a partir de poses de câmera inéditas para aumentar os dados de treinamento, superando as técnicas anteriores baseadas em regularização e prévios. Apesar deste progresso, identificamos três limitações críticas nestas abordagens de ponta: cobertura inadequada para além das periferias das vistas conhecidas, inconsistências geométricas entre as vistas geradas e pipelines computacionalmente dispendiosos. Apresentamos o GaMO (Geometry-aware Multi-view Outpainter), uma estrutura que reformula a reconstrução com vistas esparsas através de *outpainting* multi-vista. Em vez de gerar novos pontos de vista, o GaMO expande o campo de visão a partir das poses de câmera existentes, o que preserva inerentemente a consistência geométrica enquanto proporciona uma cobertura mais ampla da cena. A nossa abordagem emprega estratégias de condicionamento multi-vista e *denoising* com consciência geométrica de forma *zero-shot*, sem necessidade de treino. Experiências extensivas nos conjuntos Replica e ScanNet++ demonstram uma qualidade de reconstrução de ponta para 3, 6 e 9 vistas de entrada, superando métodos anteriores em PSNR e LPIPS, enquanto alcança uma aceleração de 25 vezes em relação aos métodos baseados em difusão do estado da arte, com tempo de processamento inferior a 10 minutos. Página do projeto: https://yichuanh.github.io/GaMO/

English

Recent advances in 3D reconstruction have achieved remarkable progress in high-quality scene capture from dense multi-view imagery, yet struggle when input views are limited. Various approaches, including regularization techniques, semantic priors, and geometric constraints, have been implemented to address this challenge. Latest diffusion-based methods have demonstrated substantial improvements by generating novel views from new camera poses to augment training data, surpassing earlier regularization and prior-based techniques. Despite this progress, we identify three critical limitations in these state-of-the-art approaches: inadequate coverage beyond known view peripheries, geometric inconsistencies across generated views, and computationally expensive pipelines. We introduce GaMO (Geometry-aware Multi-view Outpainter), a framework that reformulates sparse-view reconstruction through multi-view outpainting. Instead of generating new viewpoints, GaMO expands the field of view from existing camera poses, which inherently preserves geometric consistency while providing broader scene coverage. Our approach employs multi-view conditioning and geometry-aware denoising strategies in a zero-shot manner without training. Extensive experiments on Replica and ScanNet++ demonstrate state-of-the-art reconstruction quality across 3, 6, and 9 input views, outperforming prior methods in PSNR and LPIPS, while achieving a 25times speedup over SOTA diffusion-based methods with processing time under 10 minutes. Project page: https://yichuanh.github.io/GaMO/