RobustSplat: Разделение уплотнения и динамики для 3DGS без переходных процессов
RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS
June 3, 2025
Авторы: Chuanyu Fu, Yuqi Zhang, Kunbin Yao, Guanying Chen, Yuan Xiong, Chuan Huang, Shuguang Cui, Xiaochun Cao
cs.AI
Аннотация
3D Gaussian Splatting (3DGS) привлекла значительное внимание благодаря своей способности к фотореалистичному рендерингу в реальном времени для синтеза новых видов и 3D-моделирования. Однако существующие методы сталкиваются с трудностями при точном моделировании сцен, подверженных влиянию временных объектов, что приводит к артефактам в визуализированных изображениях. Мы выявили, что процесс уплотнения гауссовских распределений, хотя и улучшает захват деталей сцены, непреднамеренно способствует возникновению этих артефактов за счет добавления дополнительных гауссовских распределений, моделирующих временные помехи. Для решения этой проблемы мы предлагаем RobustSplat — надежное решение, основанное на двух ключевых подходах. Во-первых, мы вводим стратегию отсроченного роста гауссовских распределений, которая отдает приоритет оптимизации статической структуры сцены перед разрешением разделения/клонирования гауссовских распределений, что снижает переобучение на временных объектах на ранних этапах оптимизации. Во-вторых, мы разрабатываем подход масштабно-каскадной инициализации масок, который сначала использует обучение на основе сходства признаков с низким разрешением для получения надежной начальной оценки маски временных объектов, пользуясь его более сильной семантической согласованностью и устойчивостью к шуму, а затем переходит к обучению с высоким разрешением для достижения более точного предсказания маски. Многочисленные эксперименты на нескольких сложных наборах данных показывают, что наш метод превосходит существующие подходы, наглядно демонстрируя его надежность и эффективность. Страница проекта доступна по адресу: https://fcyycf.github.io/RobustSplat/.
English
3D Gaussian Splatting (3DGS) has gained significant attention for its
real-time, photo-realistic rendering in novel-view synthesis and 3D modeling.
However, existing methods struggle with accurately modeling scenes affected by
transient objects, leading to artifacts in the rendered images. We identify
that the Gaussian densification process, while enhancing scene detail capture,
unintentionally contributes to these artifacts by growing additional Gaussians
that model transient disturbances. To address this, we propose RobustSplat, a
robust solution based on two critical designs. First, we introduce a delayed
Gaussian growth strategy that prioritizes optimizing static scene structure
before allowing Gaussian splitting/cloning, mitigating overfitting to transient
objects in early optimization. Second, we design a scale-cascaded mask
bootstrapping approach that first leverages lower-resolution feature similarity
supervision for reliable initial transient mask estimation, taking advantage of
its stronger semantic consistency and robustness to noise, and then progresses
to high-resolution supervision to achieve more precise mask prediction.
Extensive experiments on multiple challenging datasets show that our method
outperforms existing methods, clearly demonstrating the robustness and
effectiveness of our method. Our project page is
https://fcyycf.github.io/RobustSplat/.