GaMO: Extrapolación de Difusión Multi-vista con Conciencia Geométrica para Reconstrucción 3D con Vistas Escasas

GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

December 31, 2025

Autores: Yi-Chuan Huang, Hao-Jen Chien, Chin-Yang Lin, Ying-Huan Chen, Yu-Lun Liu

cs.AI

Resumen

Los recientes avances en reconstrucción 3D han logrado un progreso notable en la captura de escenas de alta calidad a partir de imágenes densas de múltiples vistas, pero presentan dificultades cuando las vistas de entrada son limitadas. Se han implementado diversos enfoques, incluyendo técnicas de regularización, conocimientos previos semánticos y restricciones geométricas, para abordar este desafío. Los métodos más recientes basados en difusión han demostrado mejoras sustanciales al generar nuevas vistas a partir de poses de cámara novedosas para aumentar los datos de entrenamiento, superando a las técnicas anteriores basadas en regularización y conocimientos previos. A pesar de este progreso, identificamos tres limitaciones críticas en estos enfoques de vanguardia: cobertura inadecuada más allá de las periferias de las vistas conocidas, inconsistencias geométricas entre las vistas generadas y canalizaciones computacionalmente costosas. Presentamos GaMO (Geometry-aware Multi-view Outpainter), un marco que reformula la reconstrucción con vistas escasas a través de la extrapolación de múltiples vistas. En lugar de generar nuevos puntos de vista, GaMO expande el campo de visión desde las poses de cámara existentes, lo que inherentemente preserva la consistencia geométrica mientras proporciona una cobertura de escena más amplia. Nuestro enfoque emplea estrategias de condicionamiento multi-vista y eliminación de ruido con conciencia geométrica de manera de "zero-shot" (sin entrenamiento específico). Experimentos exhaustivos en Replica y ScanNet++ demuestran una calidad de reconstrucción de vanguardia con 3, 6 y 9 vistas de entrada, superando a métodos anteriores en PSNR y LPIPS, mientras se logra una aceleración de 25 veces sobre los métodos SOTA basados en difusión, con un tiempo de procesamiento inferior a 10 minutos. Página del proyecto: https://yichuanh.github.io/GaMO/

English

Recent advances in 3D reconstruction have achieved remarkable progress in high-quality scene capture from dense multi-view imagery, yet struggle when input views are limited. Various approaches, including regularization techniques, semantic priors, and geometric constraints, have been implemented to address this challenge. Latest diffusion-based methods have demonstrated substantial improvements by generating novel views from new camera poses to augment training data, surpassing earlier regularization and prior-based techniques. Despite this progress, we identify three critical limitations in these state-of-the-art approaches: inadequate coverage beyond known view peripheries, geometric inconsistencies across generated views, and computationally expensive pipelines. We introduce GaMO (Geometry-aware Multi-view Outpainter), a framework that reformulates sparse-view reconstruction through multi-view outpainting. Instead of generating new viewpoints, GaMO expands the field of view from existing camera poses, which inherently preserves geometric consistency while providing broader scene coverage. Our approach employs multi-view conditioning and geometry-aware denoising strategies in a zero-shot manner without training. Extensive experiments on Replica and ScanNet++ demonstrate state-of-the-art reconstruction quality across 3, 6, and 9 input views, outperforming prior methods in PSNR and LPIPS, while achieving a 25times speedup over SOTA diffusion-based methods with processing time under 10 minutes. Project page: https://yichuanh.github.io/GaMO/