GaMO: Estensione di Diffusione Multi-vista con Consapevolezza Geometrica per la Ricostruzione 3D da Viste Sparse

GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

December 31, 2025

Autori: Yi-Chuan Huang, Hao-Jen Chien, Chin-Yang Lin, Ying-Huan Chen, Yu-Lun Liu

cs.AI

Abstract

I recenti progressi nella ricostruzione 3D hanno ottenuto risultati notevoli nella cattura di scene di alta qualità a partire da immagini multi-vista dense, ma incontrano difficoltà quando le viste di input sono limitate. Diverse metodologie, incluse tecniche di regolarizzazione, prior semantici e vincoli geometrici, sono state implementate per affrontare questa sfida. I più recenti metodi basati su modelli di diffusione hanno dimostrato miglioramenti sostanziali generando nuove viste da pose di camera differenti per aumentare i dati di addestramento, superando le precedenti tecniche basate su regolarizzazione e prior. Nonostante questi progressi, identifichiamo tre limitazioni critiche in questi approcci allo stato dell'arte: una copertura inadeguata oltre le periferie delle viste conosciute, inconsistenze geometriche tra le viste generate e pipeline computazionalmente costose. Introduciamo GaMO (Geometry-aware Multi-view Outpainter), un framework che riformula la ricostruzione da viste sparse attraverso l'outpainting multi-vista. Invece di generare nuovi punti di vista, GaMO espande il campo visivo dalle pose di camera esistenti, preservando intrinsecamente la coerenza geometrica mentre fornisce una copertura della scena più ampia. Il nostro approccio impiega strategie di condizionamento multi-vista e di denoising consapevole della geometria in maniera zero-shot, senza addestramento. Esperimenti estensivi su Replica e ScanNet++ dimostrano una qualità di ricostruzione allo stato dell'arte con 3, 6 e 9 viste di input, superando i metodi precedenti in termini di PSNR e LPIPS, e ottenendo un accelerazione di 25 volte rispetto ai metodi basati su diffusione allo stato dell'arte, con un tempo di elaborazione inferiore a 10 minuti. Pagina del progetto: https://yichuanh.github.io/GaMO/

English

Recent advances in 3D reconstruction have achieved remarkable progress in high-quality scene capture from dense multi-view imagery, yet struggle when input views are limited. Various approaches, including regularization techniques, semantic priors, and geometric constraints, have been implemented to address this challenge. Latest diffusion-based methods have demonstrated substantial improvements by generating novel views from new camera poses to augment training data, surpassing earlier regularization and prior-based techniques. Despite this progress, we identify three critical limitations in these state-of-the-art approaches: inadequate coverage beyond known view peripheries, geometric inconsistencies across generated views, and computationally expensive pipelines. We introduce GaMO (Geometry-aware Multi-view Outpainter), a framework that reformulates sparse-view reconstruction through multi-view outpainting. Instead of generating new viewpoints, GaMO expands the field of view from existing camera poses, which inherently preserves geometric consistency while providing broader scene coverage. Our approach employs multi-view conditioning and geometry-aware denoising strategies in a zero-shot manner without training. Extensive experiments on Replica and ScanNet++ demonstrate state-of-the-art reconstruction quality across 3, 6, and 9 input views, outperforming prior methods in PSNR and LPIPS, while achieving a 25times speedup over SOTA diffusion-based methods with processing time under 10 minutes. Project page: https://yichuanh.github.io/GaMO/