GaMO: Geometrie-bewuste multi-view diffusie-uitbreiding voor 3D-reconstructie met weinig views

GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

December 31, 2025

Auteurs: Yi-Chuan Huang, Hao-Jen Chien, Chin-Yang Lin, Ying-Huan Chen, Yu-Lun Liu

cs.AI

Samenvatting

Recente vooruitgang in 3D-reconstructie heeft opmerkelijke vooruitgang geboekt in het vastleggen van hoogwaardige scènes met behulp van dichte multi-view beelden, maar worstelt wanneer de invoerbeelden beperkt zijn. Diverse benaderingen, waaronder regularisatietechnieken, semantische priors en geometrische beperkingen, zijn geïmplementeerd om deze uitdaging aan te pakken. Recente op diffusie gebaseerde methoden hebben aanzienlijke verbeteringen aangetoond door nieuwe aanzichten te genereren vanuit nieuwe cameraposities om de trainingsdata aan te vullen, waardoor eerdere regularisatie- en prior-gebaseerde technieken worden overtroffen. Ondanks deze vooruitgang identificeren we drie kritieke beperkingen in deze state-of-the-art benaderingen: onvoldoende dekking buiten de periferie van bekende aanzichten, geometrische inconsistenties tussen gegenereerde aanzichten en rekenkundig intensieve pijplijnen. Wij introduceren GaMO (Geometry-aware Multi-view Outpainter), een raamwerk dat reconstructie met weinig aanzichten herformuleert via multi-view outpainting. In plaats van nieuwe gezichtspunten te genereren, breidt GaMO het gezichtsveld uit vanaf bestaande cameraposities, wat inherent de geometrische consistentie behoudt en tegelijkertijd een bredere scènedekking biedt. Onze aanpak gebruikt multi-view conditionering en geometrisch-bewuste denoisestrategieën op een zero-shot-manier zonder training. Uitgebreide experimenten op Replica en ScanNet++ tonen state-of-the-art reconstructiekwaliteit aan bij 3, 6 en 9 invoerbeelden, waarbij eerdere methoden worden overtroffen in PSNR en LPIPS, terwijl een 25-voudige snelheidswinst wordt bereikt ten opzichte van SOTA diffusiegebaseerde methoden, met een verwerkingstijd van minder dan 10 minuten. Projectpagina: https://yichuanh.github.io/GaMO/

English

Recent advances in 3D reconstruction have achieved remarkable progress in high-quality scene capture from dense multi-view imagery, yet struggle when input views are limited. Various approaches, including regularization techniques, semantic priors, and geometric constraints, have been implemented to address this challenge. Latest diffusion-based methods have demonstrated substantial improvements by generating novel views from new camera poses to augment training data, surpassing earlier regularization and prior-based techniques. Despite this progress, we identify three critical limitations in these state-of-the-art approaches: inadequate coverage beyond known view peripheries, geometric inconsistencies across generated views, and computationally expensive pipelines. We introduce GaMO (Geometry-aware Multi-view Outpainter), a framework that reformulates sparse-view reconstruction through multi-view outpainting. Instead of generating new viewpoints, GaMO expands the field of view from existing camera poses, which inherently preserves geometric consistency while providing broader scene coverage. Our approach employs multi-view conditioning and geometry-aware denoising strategies in a zero-shot manner without training. Extensive experiments on Replica and ScanNet++ demonstrate state-of-the-art reconstruction quality across 3, 6, and 9 input views, outperforming prior methods in PSNR and LPIPS, while achieving a 25times speedup over SOTA diffusion-based methods with processing time under 10 minutes. Project page: https://yichuanh.github.io/GaMO/