生成密度化：高忠実性汎化可能な3D再構築のためのガウス分布の密度化の学習

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

著者: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

要旨

一般化されたフィードフォワードガウスモデルは、大規模なマルチビューデータセットからの事前知識を活用して、疎な視点の3D再構築において重要な進展を遂げています。ただし、これらのモデルは、ガウス数の制約により高周波の詳細を表現するのに苦労することがよくあります。per-scene 3Dガウススプラッティング（3D-GS）最適化で使用される密度化戦略は、フィードフォワードモデルに適応できるが、一般化されたシナリオには理想的とは言えません。本論文では、フィードフォワードモデルによって生成されたガウスを密度化する効率的かつ汎用性のある方法であるGenerative Densificationを提案します。3D-GSの密度化戦略が、反復的に生のガウスパラメータを分割および複製するのに対し、当社の手法はフィードフォワードモデルから特徴表現をアップサンプリングし、それらに対応する細かいガウスを単一の前方パスで生成することで、埋め込まれた事前知識を活用して一層の一般化を実現します。オブジェクトレベルおよびシーンレベルの再構築タスクにおける実験結果は、当社の手法が、モデルサイズが同等または小さい状態で、優れた性能を発揮し、詳細な部分の表現において著しい改善を達成していることを示しています。

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.