FDGaussian: 幾何情報を考慮した拡散モデルによる単一画像からの高速ガウススプラッティング

FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model

March 15, 2024

著者: Qijun Feng, Zhen Xing, Zuxuan Wu, Yu-Gang Jiang

cs.AI

要旨

単一視点画像からの詳細な3Dオブジェクトの再構築は、利用可能な情報が限られているため、依然として困難な課題である。本論文では、単一画像からの3D再構築のための新しい二段階フレームワークであるFDGaussianを紹介する。最近の手法では、事前学習済みの2D拡散モデルを利用して入力画像から妥当な新規視点を生成することが一般的であるが、それらは多視点の不整合や幾何学的忠実度の欠如といった問題に直面している。これらの課題を克服するために、我々は2D入力から3D幾何学的特徴を抽出するための直交平面分解メカニズムを提案し、一貫した多視点画像の生成を可能にする。さらに、エピポーラ注意を組み込んだ最新のガウススプラッティングを加速し、異なる視点からの画像を融合する。FDGaussianが異なる視点間で高い一貫性を持つ画像を生成し、質的および量的に高品質な3Dオブジェクトを再構築することを実証する。より多くの例はウェブサイトhttps://qjfeng.net/FDGaussian/で確認できる。

English

Reconstructing detailed 3D objects from single-view images remains a challenging task due to the limited information available. In this paper, we introduce FDGaussian, a novel two-stage framework for single-image 3D reconstruction. Recent methods typically utilize pre-trained 2D diffusion models to generate plausible novel views from the input image, yet they encounter issues with either multi-view inconsistency or lack of geometric fidelity. To overcome these challenges, we propose an orthogonal plane decomposition mechanism to extract 3D geometric features from the 2D input, enabling the generation of consistent multi-view images. Moreover, we further accelerate the state-of-the-art Gaussian Splatting incorporating epipolar attention to fuse images from different viewpoints. We demonstrate that FDGaussian generates images with high consistency across different views and reconstructs high-quality 3D objects, both qualitatively and quantitatively. More examples can be found at our website https://qjfeng.net/FDGaussian/.