Robuuste 3D-gemaskerde deelniveau-bewerking in 3D Gaussian Splatting met Geregulariseerde Score Distillatie Sampling

Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling

July 15, 2025

Auteurs: Hayeon Kim, Ji Ha Jang, Se Young Chun

cs.AI

Samenvatting

Recente vooruitgang in 3D neurale representaties en modellen voor bewerking op instantieniveau hebben de efficiënte creatie van hoogwaardige 3D-inhoud mogelijk gemaakt. Het bereiken van precieze lokale 3D-bewerkingen blijft echter een uitdaging, vooral voor Gaussian Splatting, vanwege inconsistente multi-view 2D-onderdeelsegmentaties en de inherente ambiguïteit van de Score Distillation Sampling (SDS) loss. Om deze beperkingen aan te pakken, stellen we RoMaP voor, een nieuw raamwerk voor lokale 3D Gaussian-bewerkingen dat precieze en drastische wijzigingen op onderdeelniveau mogelijk maakt. Ten eerste introduceren we een robuuste 3D-maskergeneratiemodule met onze 3D-Geometry Aware Label Prediction (3D-GALP), die sferische harmonische (SH) coëfficiënten gebruikt om view-afhankelijke labelvariaties en soft-label eigenschappen te modelleren, wat resulteert in nauwkeurige en consistente onderdeelsegmentaties over verschillende gezichtspunten. Ten tweede stellen we een geregulariseerde SDS loss voor die de standaard SDS loss combineert met aanvullende regularizers. In het bijzonder wordt een L1 anchor loss geïntroduceerd via onze Scheduled Latent Mixing and Part (SLaMP) bewerkingsmethode, die hoogwaardige 2D-afbeeldingen met bewerkte onderdelen genereert en wijzigingen beperkt tot het doelgebied terwijl contextuele samenhang behouden blijft. Aanvullende regularizers, zoals Gaussian prior removal, verbeteren de flexibiliteit verder door wijzigingen mogelijk te maken buiten de bestaande context, en robuuste 3D-masking voorkomt ongewenste bewerkingen. Experimentele resultaten tonen aan dat onze RoMaP state-of-the-art lokale 3D-bewerkingen bereikt op zowel gereconstrueerde als gegenereerde Gaussian-scènes en -objecten, zowel kwalitatief als kwantitatief, wat het mogelijk maakt voor robuustere en flexibelere onderdeelniveau 3D Gaussian-bewerkingen. Code is beschikbaar op https://janeyeon.github.io/romap.

English

Recent advances in 3D neural representations and instance-level editing models have enabled the efficient creation of high-quality 3D content. However, achieving precise local 3D edits remains challenging, especially for Gaussian Splatting, due to inconsistent multi-view 2D part segmentations and inherently ambiguous nature of Score Distillation Sampling (SDS) loss. To address these limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that enables precise and drastic part-level modifications. First, we introduce a robust 3D mask generation module with our 3D-Geometry Aware Label Prediction (3D-GALP), which uses spherical harmonics (SH) coefficients to model view-dependent label variations and soft-label property, yielding accurate and consistent part segmentations across viewpoints. Second, we propose a regularized SDS loss that combines the standard SDS loss with additional regularizers. In particular, an L1 anchor loss is introduced via our Scheduled Latent Mixing and Part (SLaMP) editing method, which generates high-quality part-edited 2D images and confines modifications only to the target region while preserving contextual coherence. Additional regularizers, such as Gaussian prior removal, further improve flexibility by allowing changes beyond the existing context, and robust 3D masking prevents unintended edits. Experimental results demonstrate that our RoMaP achieves state-of-the-art local 3D editing on both reconstructed and generated Gaussian scenes and objects qualitatively and quantitatively, making it possible for more robust and flexible part-level 3D Gaussian editing. Code is available at https://janeyeon.github.io/romap.