RobustSplat : Découplage de la densification et de la dynamique pour une 3DGS sans transitoires

RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS

June 3, 2025

Auteurs: Chuanyu Fu, Yuqi Zhang, Kunbin Yao, Guanying Chen, Yuan Xiong, Chuan Huang, Shuguang Cui, Xiaochun Cao

cs.AI

Résumé

Le 3D Gaussian Splatting (3DGS) a suscité un intérêt considérable pour son rendu en temps réel et photoréaliste dans la synthèse de nouvelles vues et la modélisation 3D. Cependant, les méthodes existantes peinent à modéliser avec précision les scènes affectées par des objets transitoires, ce qui entraîne des artefacts dans les images rendues. Nous identifions que le processus de densification gaussienne, bien qu'il améliore la capture des détails de la scène, contribue involontairement à ces artefacts en générant des gaussiennes supplémentaires qui modélisent les perturbations transitoires. Pour résoudre ce problème, nous proposons RobustSplat, une solution robuste basée sur deux conceptions critiques. Premièrement, nous introduisons une stratégie de croissance gaussienne retardée qui priorise l'optimisation de la structure statique de la scène avant d'autoriser la division/clonage des gaussiennes, atténuant ainsi le surajustement aux objets transitoires lors des premières étapes d'optimisation. Deuxièmement, nous concevons une approche de bootstrap de masque en cascade d'échelles qui exploite d'abord la supervision de similarité de caractéristiques à basse résolution pour une estimation initiale fiable du masque transitoire, tirant parti de sa plus forte cohérence sémantique et de sa robustesse au bruit, puis progresse vers une supervision à haute résolution pour obtenir une prédiction de masque plus précise. Des expériences approfondies sur plusieurs ensembles de données complexes montrent que notre méthode surpasse les méthodes existantes, démontrant clairement la robustesse et l'efficacité de notre approche. Notre page de projet est disponible à l'adresse suivante : https://fcyycf.github.io/RobustSplat/.

English

3D Gaussian Splatting (3DGS) has gained significant attention for its real-time, photo-realistic rendering in novel-view synthesis and 3D modeling. However, existing methods struggle with accurately modeling scenes affected by transient objects, leading to artifacts in the rendered images. We identify that the Gaussian densification process, while enhancing scene detail capture, unintentionally contributes to these artifacts by growing additional Gaussians that model transient disturbances. To address this, we propose RobustSplat, a robust solution based on two critical designs. First, we introduce a delayed Gaussian growth strategy that prioritizes optimizing static scene structure before allowing Gaussian splitting/cloning, mitigating overfitting to transient objects in early optimization. Second, we design a scale-cascaded mask bootstrapping approach that first leverages lower-resolution feature similarity supervision for reliable initial transient mask estimation, taking advantage of its stronger semantic consistency and robustness to noise, and then progresses to high-resolution supervision to achieve more precise mask prediction. Extensive experiments on multiple challenging datasets show that our method outperforms existing methods, clearly demonstrating the robustness and effectiveness of our method. Our project page is https://fcyycf.github.io/RobustSplat/.