GaussianObject: ガウススプラッティングによる高品質3Dオブジェクトの取得をわずか4枚の画像で実現

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

February 15, 2024

著者: Chen Yang, Sikuang Li, Jiemin Fang, Ruofan Liang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

要旨

非常に疎な視点からの3Dオブジェクトの再構築とレンダリングは、3D視覚技術の応用を促進し、ユーザー体験を向上させる上で極めて重要です。しかし、疎な視点からの画像は非常に限られた3D情報しか含まないため、2つの大きな課題が生じます：1) マッチングのための画像が少なすぎるため、マルチビュー一貫性を構築するのが困難であること、2) 視点のカバレッジが不十分なため、オブジェクト情報が部分的に欠落するか、高度に圧縮されることです。これらの課題に対処するため、我々はGaussianObjectを提案します。これは、ガウススプラッティングを用いて3Dオブジェクトを表現し、わずか4枚の入力画像で高品質なレンダリングを実現するフレームワークです。まず、視覚的ハルとフローティングオブジェクト除去の技術を導入し、初期最適化プロセスに構造的な事前情報を明示的に注入することで、マルチビュー一貫性の構築を支援し、粗い3Dガウス表現を生成します。次に、拡散モデルに基づくガウス修復モデルを構築し、欠落したオブジェクト情報を補完します。ここで、ガウス表現はさらに洗練されます。修復モデルのトレーニング用の画像ペアを取得するために、自己生成戦略を設計します。我々のGaussianObjectは、MipNeRF360、OmniObject3D、OpenIlluminationなどの複数の挑戦的なデータセットで評価され、わずか4視点からの強力な再構築結果を達成し、従来の最先端手法を大幅に上回る性能を示しました。

English

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting, that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination which explicitly inject structure priors into the initial optimization process for helping build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. Our GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, and OpenIllumination, achieving strong reconstruction results from only 4 views and significantly outperforming previous state-of-the-art methods.