RobustSplat: 密度化とダイナミクスの分離によるトランジエントフリーな3DGS

RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS

June 3, 2025

著者: Chuanyu Fu, Yuqi Zhang, Kunbin Yao, Guanying Chen, Yuan Xiong, Chuan Huang, Shuguang Cui, Xiaochun Cao

cs.AI

要旨

3Dガウシアンスプラッティング（3DGS）は、新視点合成や3Dモデリングにおけるリアルタイムのフォトリアルなレンダリングで注目を集めています。しかし、既存の手法では、一時的な物体の影響を受けるシーンを正確にモデル化することが難しく、レンダリング画像にアーティファクトが生じる問題があります。本研究では、シーンの詳細を捉えるために行われるガウシアンの密度化プロセスが、意図せず一時的な乱れをモデル化する追加のガウシアンを生成し、これらのアーティファクトの原因となっていることを明らかにしました。この問題に対処するため、我々はRobustSplatという堅牢なソリューションを提案します。この手法は、2つの重要な設計に基づいています。まず、ガウシアンの分割/複製を許可する前に静的なシーン構造の最適化を優先する遅延ガウシアン成長戦略を導入し、初期最適化段階での一時的物体への過剰適合を軽減します。次に、低解像度の特徴量類似性に基づく監督を活用して信頼性の高い初期の一時的マスク推定を行い、その強い意味的一貫性とノイズに対する頑健性を活かした後、高解像度の監督に進むことでより正確なマスク予測を実現するスケールカスケード型マスクブートストラップ手法を設計しました。複数の挑戦的なデータセットを用いた広範な実験により、本手法が既存手法を上回る性能を示し、その堅牢性と有効性を明確に実証しました。プロジェクトページはhttps://fcyycf.github.io/RobustSplat/です。

English

3D Gaussian Splatting (3DGS) has gained significant attention for its real-time, photo-realistic rendering in novel-view synthesis and 3D modeling. However, existing methods struggle with accurately modeling scenes affected by transient objects, leading to artifacts in the rendered images. We identify that the Gaussian densification process, while enhancing scene detail capture, unintentionally contributes to these artifacts by growing additional Gaussians that model transient disturbances. To address this, we propose RobustSplat, a robust solution based on two critical designs. First, we introduce a delayed Gaussian growth strategy that prioritizes optimizing static scene structure before allowing Gaussian splitting/cloning, mitigating overfitting to transient objects in early optimization. Second, we design a scale-cascaded mask bootstrapping approach that first leverages lower-resolution feature similarity supervision for reliable initial transient mask estimation, taking advantage of its stronger semantic consistency and robustness to noise, and then progresses to high-resolution supervision to achieve more precise mask prediction. Extensive experiments on multiple challenging datasets show that our method outperforms existing methods, clearly demonstrating the robustness and effectiveness of our method. Our project page is https://fcyycf.github.io/RobustSplat/.