SplatFields：スパース3Dおよび4D再構築のためのニューラルガウススプラット

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

著者: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

要旨

マルチビュー画像から3D静的シーンと4D動的イベントをデジタル化することは、コンピュータビジョンとグラフィックスの分野で長らく課題となってきました。最近、3Dガウススプラッティング（3DGS）が実用的でスケーラブルな再構築手法として登場し、その印象的な再構築品質、リアルタイムレンダリング能力、および広く使用されている可視化ツールとの互換性から人気を博しています。ただし、この手法は高品質なシーン再構築を実現するために相当数の入力ビューを必要とし、実用上の重要なボトルネックを導入します。この課題は、動的シーンをキャプチャする際に特に深刻であり、広範なカメラアレイを展開することが費用面で困難な場合があります。本研究では、3DGS技術のスパース再構築環境における最適な性能を妨げる要因の1つとして、スプラット特徴の空間自己相関の欠如を特定します。この問題に対処するため、対応する暗黙のニューラルフィールドの出力としてそれらをモデリングすることで、スプラット特徴を効果的に正則化する最適化戦略を提案します。これにより、さまざまなシナリオで再構築品質が一貫して向上します。私たちのアプローチは、さまざまなセットアップやシーンの複雑さにわたる包括的なテストによって示されるように、静的および動的ケースを効果的に処理します。

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.