Modifica Robusta a Livello di Parte con Maschera 3D in 3D Gaussian Splatting mediante Campionamento di Distillazione del Punteggio Regolarizzato

Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling

July 15, 2025

Autori: Hayeon Kim, Ji Ha Jang, Se Young Chun

cs.AI

Abstract

I recenti progressi nelle rappresentazioni neurali 3D e nei modelli di editing a livello di istanza hanno reso possibile la creazione efficiente di contenuti 3D di alta qualità. Tuttavia, ottenere modifiche locali precise in 3D rimane una sfida, specialmente per il Gaussian Splatting, a causa di segmentazioni 2D multi-vista incoerenti delle parti e della natura intrinsecamente ambigua della funzione di perdita Score Distillation Sampling (SDS). Per affrontare queste limitazioni, proponiamo RoMaP, un nuovo framework di editing locale di Gaussian 3D che consente modifiche precise e drastiche a livello di parti. In primo luogo, introduciamo un modulo robusto di generazione di maschere 3D con il nostro 3D-Geometry Aware Label Prediction (3D-GALP), che utilizza coefficienti di armoniche sferiche (SH) per modellare le variazioni delle etichette dipendenti dalla vista e la proprietà delle etichette soft, producendo segmentazioni delle parti accurate e coerenti tra i vari punti di vista. In secondo luogo, proponiamo una funzione di perdita SDS regolarizzata che combina la perdita SDS standard con ulteriori regolarizzatori. In particolare, viene introdotta una perdita L1 di ancoraggio tramite il nostro metodo di editing Scheduled Latent Mixing and Part (SLaMP), che genera immagini 2D modificate di alta qualità e limita le modifiche solo alla regione target preservando la coerenza contestuale. Ulteriori regolarizzatori, come la rimozione del prior gaussiano, migliorano ulteriormente la flessibilità consentendo cambiamenti oltre il contesto esistente, mentre una robusta maschera 3D previene modifiche indesiderate. I risultati sperimentali dimostrano che il nostro RoMaP raggiunge uno stato dell'arte nell'editing locale 3D sia su scene che su oggetti Gaussian ricostruiti e generati, qualitativamente e quantitativamente, rendendo possibile un editing 3D a livello di parti più robusto e flessibile. Il codice è disponibile all'indirizzo https://janeyeon.github.io/romap.

English

Recent advances in 3D neural representations and instance-level editing models have enabled the efficient creation of high-quality 3D content. However, achieving precise local 3D edits remains challenging, especially for Gaussian Splatting, due to inconsistent multi-view 2D part segmentations and inherently ambiguous nature of Score Distillation Sampling (SDS) loss. To address these limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that enables precise and drastic part-level modifications. First, we introduce a robust 3D mask generation module with our 3D-Geometry Aware Label Prediction (3D-GALP), which uses spherical harmonics (SH) coefficients to model view-dependent label variations and soft-label property, yielding accurate and consistent part segmentations across viewpoints. Second, we propose a regularized SDS loss that combines the standard SDS loss with additional regularizers. In particular, an L1 anchor loss is introduced via our Scheduled Latent Mixing and Part (SLaMP) editing method, which generates high-quality part-edited 2D images and confines modifications only to the target region while preserving contextual coherence. Additional regularizers, such as Gaussian prior removal, further improve flexibility by allowing changes beyond the existing context, and robust 3D masking prevents unintended edits. Experimental results demonstrate that our RoMaP achieves state-of-the-art local 3D editing on both reconstructed and generated Gaussian scenes and objects qualitatively and quantitatively, making it possible for more robust and flexible part-level 3D Gaussian editing. Code is available at https://janeyeon.github.io/romap.