RobustSplat: 과도 현상 없는 3DGS를 위한 밀도화와 동역학의 분리

RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS

June 3, 2025

저자: Chuanyu Fu, Yuqi Zhang, Kunbin Yao, Guanying Chen, Yuan Xiong, Chuan Huang, Shuguang Cui, Xiaochun Cao

cs.AI

초록

3D 가우시안 스플래팅(3DGS)은 새로운 시점 합성과 3D 모델링에서 실시간, 사실적인 렌더링으로 큰 주목을 받고 있습니다. 그러나 기존 방법들은 일시적인 객체의 영향을 받는 장면을 정확하게 모델링하는 데 어려움을 겪으며, 이로 인해 렌더링된 이미지에 아티팩트가 발생합니다. 우리는 가우시안 밀도화 과정이 장면의 세부 사항을 더 잘 포착하는 동시에, 일시적인 방해 요소를 모델링하는 추가적인 가우시안을 생성함으로써 이러한 아티팩트에 의도치 않게 기여한다는 점을 발견했습니다. 이를 해결하기 위해, 우리는 두 가지 중요한 설계를 기반으로 한 RobustSplat이라는 강력한 솔루션을 제안합니다. 첫째, 정적 장면 구조를 최적화한 후에 가우시안 분할/복제를 허용하는 지연된 가우시안 성장 전략을 도입하여 초기 최적화 단계에서 일시적인 객체에 과적합되는 것을 완화합니다. 둘째, 더 낮은 해상도의 특징 유사성 감독을 활용하여 신뢰할 수 있는 초기 일시적 마스크 추정을 수행한 후, 더 정밀한 마스크 예측을 위해 고해상도 감독으로 진행하는 스케일 캐스케이드 마스크 부트스트래핑 접근 방식을 설계합니다. 이 방식은 더 강한 의미론적 일관성과 노이즈에 대한 강건성을 활용합니다. 여러 도전적인 데이터셋에서의 광범위한 실험을 통해 우리의 방법이 기존 방법들을 능가하며, 우리 방법의 강건성과 효과성을 명확히 입증했습니다. 우리의 프로젝트 페이지는 https://fcyycf.github.io/RobustSplat/입니다.

English

3D Gaussian Splatting (3DGS) has gained significant attention for its real-time, photo-realistic rendering in novel-view synthesis and 3D modeling. However, existing methods struggle with accurately modeling scenes affected by transient objects, leading to artifacts in the rendered images. We identify that the Gaussian densification process, while enhancing scene detail capture, unintentionally contributes to these artifacts by growing additional Gaussians that model transient disturbances. To address this, we propose RobustSplat, a robust solution based on two critical designs. First, we introduce a delayed Gaussian growth strategy that prioritizes optimizing static scene structure before allowing Gaussian splitting/cloning, mitigating overfitting to transient objects in early optimization. Second, we design a scale-cascaded mask bootstrapping approach that first leverages lower-resolution feature similarity supervision for reliable initial transient mask estimation, taking advantage of its stronger semantic consistency and robustness to noise, and then progresses to high-resolution supervision to achieve more precise mask prediction. Extensive experiments on multiple challenging datasets show that our method outperforms existing methods, clearly demonstrating the robustness and effectiveness of our method. Our project page is https://fcyycf.github.io/RobustSplat/.