ChatPaper.aiChatPaper

RobustSplat: Entkopplung von Verdichtung und Dynamik für transiente freie 3DGS

RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS

June 3, 2025
Autoren: Chuanyu Fu, Yuqi Zhang, Kunbin Yao, Guanying Chen, Yuan Xiong, Chuan Huang, Shuguang Cui, Xiaochun Cao
cs.AI

Zusammenfassung

3D Gaussian Splatting (3DGS) hat aufgrund seiner Echtzeit- und fotorealistischen Darstellung in der Neuansichtssynthese und 3D-Modellierung erhebliche Aufmerksamkeit erlangt. Allerdings haben bestehende Methoden Schwierigkeiten, Szenen, die von transienten Objekten beeinflusst werden, präzise zu modellieren, was zu Artefakten in den gerenderten Bildern führt. Wir stellen fest, dass der Prozess der Gaussian-Densifikation, obwohl er die Erfassung von Szenendetails verbessert, unbeabsichtigt zu diesen Artefakten beiträgt, indem zusätzliche Gaussians erzeugt werden, die transiente Störungen modellieren. Um dies zu beheben, schlagen wir RobustSplat vor, eine robuste Lösung, die auf zwei entscheidenden Designs basiert. Erstens führen wir eine verzögerte Gaussian-Wachstumsstrategie ein, die die Optimierung der statischen Szenenstruktur priorisiert, bevor das Teilen/Klonen von Gaussians erlaubt wird, wodurch eine Überanpassung an transiente Objekte in der frühen Optimierung gemildert wird. Zweitens entwerfen wir einen skalenkaskadierten Masken-Bootstrapping-Ansatz, der zunächst die Ähnlichkeit von Merkmalen mit niedrigerer Auflösung zur zuverlässigen anfänglichen Schätzung transienter Masken nutzt, wodurch deren stärkere semantische Konsistenz und Robustheit gegenüber Rauschen ausgenutzt wird, und dann zu einer hochauflösenden Überwachung übergeht, um eine präzisere Maskenvorhersage zu erreichen. Umfangreiche Experimente auf mehreren anspruchsvollen Datensätzen zeigen, dass unsere Methode bestehende Methoden übertrifft und die Robustheit und Effektivität unserer Methode deutlich demonstriert. Unsere Projektseite ist https://fcyycf.github.io/RobustSplat/.
English
3D Gaussian Splatting (3DGS) has gained significant attention for its real-time, photo-realistic rendering in novel-view synthesis and 3D modeling. However, existing methods struggle with accurately modeling scenes affected by transient objects, leading to artifacts in the rendered images. We identify that the Gaussian densification process, while enhancing scene detail capture, unintentionally contributes to these artifacts by growing additional Gaussians that model transient disturbances. To address this, we propose RobustSplat, a robust solution based on two critical designs. First, we introduce a delayed Gaussian growth strategy that prioritizes optimizing static scene structure before allowing Gaussian splitting/cloning, mitigating overfitting to transient objects in early optimization. Second, we design a scale-cascaded mask bootstrapping approach that first leverages lower-resolution feature similarity supervision for reliable initial transient mask estimation, taking advantage of its stronger semantic consistency and robustness to noise, and then progresses to high-resolution supervision to achieve more precise mask prediction. Extensive experiments on multiple challenging datasets show that our method outperforms existing methods, clearly demonstrating the robustness and effectiveness of our method. Our project page is https://fcyycf.github.io/RobustSplat/.
PDF32June 6, 2025