GaMO: Geometriebewusste Multi-View-Diffusions-Erweiterung für 3D-Rekonstruktion mit wenigen Ansichten

GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

December 31, 2025

papers.authors: Yi-Chuan Huang, Hao-Jen Chien, Chin-Yang Lin, Ying-Huan Chen, Yu-Lun Liu

cs.AI

papers.abstract

Jüngste Fortschritte in der 3D-Rekonstruktion haben bemerkenswerte Erfolge bei der hochwertigen Erfassung von Szenen aus dichten Multi-View-Bildern erzielt, stoßen jedoch an ihre Grenzen, wenn die Eingabeansichten begrenzt sind. Verschiedene Ansätze, einschließlich Regularisierungstechniken, semantischer Priors und geometrischer Constraints, wurden entwickelt, um diese Herausforderung zu bewältigen. Neuere diffusionsbasierte Methoden haben durch die Generierung neuartiger Ansichten aus neuen Kamerapositionen zur Erweiterung der Trainingsdaten substantiale Verbesserungen gezeigt und übertreffen frühere Regularisierungs- und priorbasierte Techniken. Trotz dieser Fortschritte identifizieren wir drei kritische Einschränkungen in diesen state-of-the-art Ansätzen: unzureichende Abdeckung jenseits der Ränder bekannter Ansichten, geometrische Inkonsistenzen zwischen generierten Ansichten und rechenintensive Pipelines. Wir stellen GaMO (Geometry-aware Multi-view Outpainter) vor, ein Framework, das die Sparse-View-Rekonstruktion durch Multi-View-Outpainting neu formuliert. Anstatt neue Blickwinkel zu generieren, erweitert GaMO das Sichtfeld von bestehenden Kamerapositionen aus, was inhärent die geometrische Konsistenz bewahrt und gleichzeitig eine breitere Szenenabdeckung bietet. Unser Ansatz nutzt Multi-View-Conditioning und geometrieaware Denoising-Strategien auf Zero-Shot-Weise ohne Training. Umfangreiche Experimente auf Replica und ScanNet++ demonstrieren state-of-the-art Rekonstruktionsqualität bei 3, 6 und 9 Eingabeansichten, übertreffen frühere Methoden in PSNR und LPIPS und erreichen gleichzeitig eine 25-fache Beschleunigung gegenüber SOTA-diffusionsbasierten Methoden mit einer Verarbeitungszeit von unter 10 Minuten. Projektseite: https://yichuanh.github.io/GaMO/

English

Recent advances in 3D reconstruction have achieved remarkable progress in high-quality scene capture from dense multi-view imagery, yet struggle when input views are limited. Various approaches, including regularization techniques, semantic priors, and geometric constraints, have been implemented to address this challenge. Latest diffusion-based methods have demonstrated substantial improvements by generating novel views from new camera poses to augment training data, surpassing earlier regularization and prior-based techniques. Despite this progress, we identify three critical limitations in these state-of-the-art approaches: inadequate coverage beyond known view peripheries, geometric inconsistencies across generated views, and computationally expensive pipelines. We introduce GaMO (Geometry-aware Multi-view Outpainter), a framework that reformulates sparse-view reconstruction through multi-view outpainting. Instead of generating new viewpoints, GaMO expands the field of view from existing camera poses, which inherently preserves geometric consistency while providing broader scene coverage. Our approach employs multi-view conditioning and geometry-aware denoising strategies in a zero-shot manner without training. Extensive experiments on Replica and ScanNet++ demonstrate state-of-the-art reconstruction quality across 3, 6, and 9 input views, outperforming prior methods in PSNR and LPIPS, while achieving a 25times speedup over SOTA diffusion-based methods with processing time under 10 minutes. Project page: https://yichuanh.github.io/GaMO/