Robuste 3D-maskierte Teilebene-Bearbeitung in 3D-Gaussian Splatting mit regularisiertem Score Distillation Sampling

Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling

July 15, 2025

papers.authors: Hayeon Kim, Ji Ha Jang, Se Young Chun

cs.AI

papers.abstract

Jüngste Fortschritte in 3D-Neuronalen Repräsentationen und Modellen zur Bearbeitung auf Instanzebene haben die effiziente Erstellung hochwertiger 3D-Inhalte ermöglicht. Das Erzielen präziser lokaler 3D-Bearbeitungen bleibt jedoch eine Herausforderung, insbesondere für Gaussian Splatting, aufgrund inkonsistenter Multi-View-2D-Teilesegmentierungen und der inhärenten Mehrdeutigkeit des Score Distillation Sampling (SDS)-Verlusts. Um diese Einschränkungen zu überwinden, schlagen wir RoMaP vor, ein neuartiges Framework zur lokalen 3D-Gaussian-Bearbeitung, das präzise und drastische Bearbeitungen auf Teilebene ermöglicht. Zunächst führen wir ein robustes 3D-Maskengenerierungsmodul mit unserer 3D-Geometry Aware Label Prediction (3D-GALP) ein, das sphärische Harmonische (SH)-Koeffizienten verwendet, um sichtabhängige Label-Variationen und Soft-Label-Eigenschaften zu modellieren, wodurch genaue und konsistente Teilesegmentierungen über verschiedene Blickwinkel hinweg erzielt werden. Zweitens schlagen wir einen regularisierten SDS-Verlust vor, der den Standard-SDS-Verlust mit zusätzlichen Regularisierern kombiniert. Insbesondere wird ein L1-Ankerverlust durch unsere Scheduled Latent Mixing and Part (SLaMP)-Bearbeitungsmethode eingeführt, die hochwertige, teilbearbeitete 2D-Bilder erzeugt und die Modifikationen auf die Zielregion beschränkt, während die kontextuelle Kohärenz erhalten bleibt. Zusätzliche Regularisierer, wie die Entfernung des Gaussian-Priors, verbessern die Flexibilität weiter, indem sie Änderungen über den bestehenden Kontext hinaus ermöglichen, und robuste 3D-Maskierung verhindert unbeabsichtigte Bearbeitungen. Experimentelle Ergebnisse zeigen, dass unser RoMaP sowohl qualitativ als auch quantitativ state-of-the-art lokale 3D-Bearbeitungen auf rekonstruierten und generierten Gaussian-Szenen und -Objekten erreicht, wodurch eine robustere und flexiblere Teilebene-3D-Gaussian-Bearbeitung möglich wird. Der Code ist verfügbar unter https://janeyeon.github.io/romap.

English

Recent advances in 3D neural representations and instance-level editing models have enabled the efficient creation of high-quality 3D content. However, achieving precise local 3D edits remains challenging, especially for Gaussian Splatting, due to inconsistent multi-view 2D part segmentations and inherently ambiguous nature of Score Distillation Sampling (SDS) loss. To address these limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that enables precise and drastic part-level modifications. First, we introduce a robust 3D mask generation module with our 3D-Geometry Aware Label Prediction (3D-GALP), which uses spherical harmonics (SH) coefficients to model view-dependent label variations and soft-label property, yielding accurate and consistent part segmentations across viewpoints. Second, we propose a regularized SDS loss that combines the standard SDS loss with additional regularizers. In particular, an L1 anchor loss is introduced via our Scheduled Latent Mixing and Part (SLaMP) editing method, which generates high-quality part-edited 2D images and confines modifications only to the target region while preserving contextual coherence. Additional regularizers, such as Gaussian prior removal, further improve flexibility by allowing changes beyond the existing context, and robust 3D masking prevents unintended edits. Experimental results demonstrate that our RoMaP achieves state-of-the-art local 3D editing on both reconstructed and generated Gaussian scenes and objects qualitatively and quantitatively, making it possible for more robust and flexible part-level 3D Gaussian editing. Code is available at https://janeyeon.github.io/romap.