GaMO: 幾何情報を考慮したマルチビュー拡散型画像外挿による疎ビュー3D再構成

要旨

3D再構成技術の最近の進展は、高密度なマルチビュー画像からの高品質なシーンキャプチャにおいて顕著な進歩を遂げているが、入力ビュー数が限られる場合には依然として困難が伴う。この課題に対処するため、正則化手法、セマンティック事前情報、幾何学的制約など様々なアプローチが実装されてきた。最新の拡散モデルベースの手法は、新しいカメラポーズから新規ビューを生成して学習データを拡張することで、従来の正則化や事前情報ベースの手法を凌駕する大幅な改善を示している。しかしながら、こうした最先端手法には三つの重大な限界が存在する：既知ビュー周辺域を超えたカバレッジの不足、生成ビュー間の幾何学的不整合、そして計算コストの高い処理パイプラインである。我々はGaMO（Geometry-aware Multi-view Outpainter）を提案する。これはマルチビュー outpaining を通じて疎ビュー再構成を再定義するフレームワークである。GaMOは新規視点を生成する代わりに、既存のカメラポーズから画角を拡大することで、幾何学的一貫性を本質的に維持しつつ、より広範なシーンカバレッジを実現する。我々の手法は、学習を必要としないゼロショット方式で、マルチビュー条件付けと幾何学的考慮を組み込んだノイズ除去戦略を採用する。ReplicaとScanNet++を用いた大規模実験により、3、6、9入力ビューにおける最先端の再構成品質を実証し、PSNRとLPIPSの両指標で従来手法を上回る性能を示すとともに、処理時間10分未満で拡散モデルベースのSOTA手法比25倍の高速化を達成した。プロジェクトページ: https://yichuanh.github.io/GaMO/

English

Recent advances in 3D reconstruction have achieved remarkable progress in high-quality scene capture from dense multi-view imagery, yet struggle when input views are limited. Various approaches, including regularization techniques, semantic priors, and geometric constraints, have been implemented to address this challenge. Latest diffusion-based methods have demonstrated substantial improvements by generating novel views from new camera poses to augment training data, surpassing earlier regularization and prior-based techniques. Despite this progress, we identify three critical limitations in these state-of-the-art approaches: inadequate coverage beyond known view peripheries, geometric inconsistencies across generated views, and computationally expensive pipelines. We introduce GaMO (Geometry-aware Multi-view Outpainter), a framework that reformulates sparse-view reconstruction through multi-view outpainting. Instead of generating new viewpoints, GaMO expands the field of view from existing camera poses, which inherently preserves geometric consistency while providing broader scene coverage. Our approach employs multi-view conditioning and geometry-aware denoising strategies in a zero-shot manner without training. Extensive experiments on Replica and ScanNet++ demonstrate state-of-the-art reconstruction quality across 3, 6, and 9 input views, outperforming prior methods in PSNR and LPIPS, while achieving a 25times speedup over SOTA diffusion-based methods with processing time under 10 minutes. Project page: https://yichuanh.github.io/GaMO/

GaMO: 幾何情報を考慮したマルチビュー拡散型画像外挿による疎ビュー3D再構成

GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

要旨

Support