WildGaussians：ワイルド環境における3Dガウシアンスプラッティング

WildGaussians: 3D Gaussian Splatting in the Wild

July 11, 2024

著者: Jonas Kulhanek, Songyou Peng, Zuzana Kukelova, Marc Pollefeys, Torsten Sattler

cs.AI

要旨

3Dシーン再構成の分野では、NeRFがそのフォトリアルな品質により主流となっていますが、最近3Dガウシアンスプラッティング（3DGS）が登場し、リアルタイムレンダリング速度を維持しながら同様の品質を提供しています。しかし、どちらの手法も主に制御された3Dシーンで優れた性能を発揮し、オクルージョン、動的オブジェクト、変化する照明といった特徴を持つ「in-the-wild」データには依然として課題が残っています。NeRFは画像ごとの埋め込みベクトルを通じてこのような条件に容易に適応できますが、3DGSはその明示的な表現と共有パラメータの欠如により苦戦しています。この問題に対処するため、我々は3DGSを用いてオクルージョンや外観の変化を処理する新しいアプローチであるWildGaussiansを提案します。堅牢なDINO特徴を活用し、3DGS内に外観モデリングモジュールを統合することで、我々の手法は最先端の結果を達成します。WildGaussiansが3DGSのリアルタイムレンダリング速度を維持しつつ、in-the-wildデータの処理において3DGSとNeRFのベースラインを上回ることを、シンプルなアーキテクチャフレームワーク内で実証します。

English

While the field of 3D scene reconstruction is dominated by NeRFs due to their photorealistic quality, 3D Gaussian Splatting (3DGS) has recently emerged, offering similar quality with real-time rendering speeds. However, both methods primarily excel with well-controlled 3D scenes, while in-the-wild data - characterized by occlusions, dynamic objects, and varying illumination - remains challenging. NeRFs can adapt to such conditions easily through per-image embedding vectors, but 3DGS struggles due to its explicit representation and lack of shared parameters. To address this, we introduce WildGaussians, a novel approach to handle occlusions and appearance changes with 3DGS. By leveraging robust DINO features and integrating an appearance modeling module within 3DGS, our method achieves state-of-the-art results. We demonstrate that WildGaussians matches the real-time rendering speed of 3DGS while surpassing both 3DGS and NeRF baselines in handling in-the-wild data, all within a simple architectural framework.