Édition robuste au niveau des parties masquées en 3D dans le lâcher de Gaussiennes 3D avec échantillonnage de distillation de score régularisé

Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling

July 15, 2025

papers.authors: Hayeon Kim, Ji Ha Jang, Se Young Chun

cs.AI

papers.abstract

Les récents progrès dans les représentations neuronales 3D et les modèles d'édition au niveau des instances ont permis la création efficace de contenus 3D de haute qualité. Cependant, réaliser des modifications locales précises en 3D reste un défi, en particulier pour le Gaussian Splatting, en raison des segmentations 2D multi-vues incohérentes des parties et de la nature intrinsèquement ambiguë de la perte de distillation de score (Score Distillation Sampling, SDS). Pour surmonter ces limitations, nous proposons RoMaP, un nouveau cadre d'édition locale de Gaussiennes 3D qui permet des modifications précises et radicales au niveau des parties. Premièrement, nous introduisons un module robuste de génération de masques 3D avec notre prédiction de labels conscients de la géométrie 3D (3D-Geometry Aware Label Prediction, 3D-GALP), qui utilise les coefficients d'harmoniques sphériques (SH) pour modéliser les variations de labels dépendantes de la vue et la propriété des labels doux, produisant ainsi des segmentations de parties précises et cohérentes à travers les points de vue. Deuxièmement, nous proposons une perte SDS régularisée qui combine la perte SDS standard avec des régularisateurs supplémentaires. En particulier, une perte d'ancrage L1 est introduite via notre méthode d'édition Scheduled Latent Mixing and Part (SLaMP), qui génère des images 2D de parties éditées de haute qualité et limite les modifications uniquement à la région cible tout en préservant la cohérence contextuelle. Des régularisateurs supplémentaires, tels que la suppression du prior gaussien, améliorent davantage la flexibilité en permettant des changements au-delà du contexte existant, et le masquage 3D robuste empêche les modifications non intentionnelles. Les résultats expérimentaux démontrent que notre RoMaP atteint des performances de pointe en matière d'édition locale 3D sur des scènes et objets gaussiens reconstruits et générés, qualitativement et quantitativement, rendant possible une édition 3D de Gaussiennes plus robuste et flexible au niveau des parties. Le code est disponible à l'adresse https://janeyeon.github.io/romap.

English

Recent advances in 3D neural representations and instance-level editing models have enabled the efficient creation of high-quality 3D content. However, achieving precise local 3D edits remains challenging, especially for Gaussian Splatting, due to inconsistent multi-view 2D part segmentations and inherently ambiguous nature of Score Distillation Sampling (SDS) loss. To address these limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that enables precise and drastic part-level modifications. First, we introduce a robust 3D mask generation module with our 3D-Geometry Aware Label Prediction (3D-GALP), which uses spherical harmonics (SH) coefficients to model view-dependent label variations and soft-label property, yielding accurate and consistent part segmentations across viewpoints. Second, we propose a regularized SDS loss that combines the standard SDS loss with additional regularizers. In particular, an L1 anchor loss is introduced via our Scheduled Latent Mixing and Part (SLaMP) editing method, which generates high-quality part-edited 2D images and confines modifications only to the target region while preserving contextual coherence. Additional regularizers, such as Gaussian prior removal, further improve flexibility by allowing changes beyond the existing context, and robust 3D masking prevents unintended edits. Experimental results demonstrate that our RoMaP achieves state-of-the-art local 3D editing on both reconstructed and generated Gaussian scenes and objects qualitatively and quantitatively, making it possible for more robust and flexible part-level 3D Gaussian editing. Code is available at https://janeyeon.github.io/romap.