RobustSplat: Desacoplamento da Densificação e Dinâmica para 3DGS Livre de Transientes
RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS
June 3, 2025
Autores: Chuanyu Fu, Yuqi Zhang, Kunbin Yao, Guanying Chen, Yuan Xiong, Chuan Huang, Shuguang Cui, Xiaochun Cao
cs.AI
Resumo
O 3D Gaussian Splatting (3DGS) tem ganhado atenção significativa por sua renderização em tempo real e foto-realista na síntese de novas visões e modelagem 3D. No entanto, os métodos existentes enfrentam dificuldades para modelar com precisão cenas afetadas por objetos transitórios, resultando em artefatos nas imagens renderizadas. Identificamos que o processo de densificação Gaussiana, embora aprimore a captura de detalhes da cena, contribui involuntariamente para esses artefatos ao gerar Gaussians adicionais que modelam distúrbios transitórios. Para resolver isso, propomos o RobustSplat, uma solução robusta baseada em dois designs críticos. Primeiro, introduzimos uma estratégia de crescimento Gaussiano atrasado que prioriza a otimização da estrutura estática da cena antes de permitir a divisão/clonagem de Gaussians, mitigando o sobreajuste a objetos transitórios nas fases iniciais de otimização. Segundo, projetamos uma abordagem de inicialização de máscara em cascata de escala que primeiro aproveita a supervisão de similaridade de características em resolução mais baixa para uma estimativa inicial confiável da máscara transitória, tirando vantagem de sua consistência semântica mais forte e robustez ao ruído, e depois progride para supervisão de alta resolução para alcançar uma previsão de máscara mais precisa. Experimentos extensivos em múltiplos conjuntos de dados desafiadores mostram que nosso método supera os métodos existentes, demonstrando claramente a robustez e eficácia de nossa abordagem. Nossa página do projeto está disponível em https://fcyycf.github.io/RobustSplat/.
English
3D Gaussian Splatting (3DGS) has gained significant attention for its
real-time, photo-realistic rendering in novel-view synthesis and 3D modeling.
However, existing methods struggle with accurately modeling scenes affected by
transient objects, leading to artifacts in the rendered images. We identify
that the Gaussian densification process, while enhancing scene detail capture,
unintentionally contributes to these artifacts by growing additional Gaussians
that model transient disturbances. To address this, we propose RobustSplat, a
robust solution based on two critical designs. First, we introduce a delayed
Gaussian growth strategy that prioritizes optimizing static scene structure
before allowing Gaussian splitting/cloning, mitigating overfitting to transient
objects in early optimization. Second, we design a scale-cascaded mask
bootstrapping approach that first leverages lower-resolution feature similarity
supervision for reliable initial transient mask estimation, taking advantage of
its stronger semantic consistency and robustness to noise, and then progresses
to high-resolution supervision to achieve more precise mask prediction.
Extensive experiments on multiple challenging datasets show that our method
outperforms existing methods, clearly demonstrating the robustness and
effectiveness of our method. Our project page is
https://fcyycf.github.io/RobustSplat/.