ガウススプラッティングはSFM初期化を必要とするか？

Does Gaussian Splatting need SFM Initialization?

April 18, 2024

著者: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi

cs.AI

要旨

3Dガウシアンスプラッティングは、その高品質な結果とハードウェアラスタライゼーションとの互換性から、シーン再構築と新規視点合成のための汎用的で効果的な手法として最近注目を集めています。しかし、その利点にもかかわらず、ガウシアンスプラッティングがStructure-from-Motion（SFM）アルゴリズムによる高品質な点群初期化に依存している点は、克服すべき重要な制約です。この問題に対処するため、我々はガウシアンスプラッティングのための様々な初期化戦略を調査し、Neural Radiance Fields（NeRF）からのボリュメトリック再構築を活用してSFMデータへの依存を回避する方法を探求しました。我々の研究結果は、慎重に設計されたランダム初期化がより優れた性能を発揮しうること、そして改善された初期化戦略と低コストなNeRFモデルからの構造蒸留を組み合わせることで、SFM初期化から得られる結果と同等、あるいは時にはそれ以上の結果を達成可能であることを示しています。

English

3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting's reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.