Edição Robusta de Partes Mascaradas em 3D no 3D Gaussian Splatting com Amostragem de Distilação de Pontuação Regularizada
Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling
July 15, 2025
Autores: Hayeon Kim, Ji Ha Jang, Se Young Chun
cs.AI
Resumo
Avanços recentes em representações neurais 3D e modelos de edição em nível de instância têm possibilitado a criação eficiente de conteúdo 3D de alta qualidade. No entanto, alcançar edições locais 3D precisas continua sendo um desafio, especialmente para o Gaussian Splatting, devido a segmentações de partes 2D multivista inconsistentes e à natureza inerentemente ambígua da perda de Amostragem de Destilação de Pontuação (SDS). Para abordar essas limitações, propomos o RoMaP, uma nova estrutura de edição local de Gaussianos 3D que permite modificações precisas e drásticas em nível de parte. Primeiro, introduzimos um módulo robusto de geração de máscaras 3D com nossa Predição de Rótulo Ciente de Geometria 3D (3D-GALP), que utiliza coeficientes de harmônicos esféricos (SH) para modelar variações de rótulo dependentes da vista e a propriedade de rótulo suave, resultando em segmentações de partes precisas e consistentes em diferentes pontos de vista. Segundo, propomos uma perda SDS regularizada que combina a perda SDS padrão com regularizadores adicionais. Em particular, uma perda de âncora L1 é introduzida por meio de nosso método de Edição de Mistura Latente Programada e Parte (SLaMP), que gera imagens 2D editadas de alta qualidade e confina as modificações apenas à região alvo, preservando a coerência contextual. Regularizadores adicionais, como a remoção de prior Gaussiana, melhoram ainda mais a flexibilidade ao permitir mudanças além do contexto existente, e a máscara 3D robusta evita edições não intencionais. Resultados experimentais demonstram que nosso RoMaP alcança a edição local 3D mais avançada em cenas e objetos Gaussianos reconstruídos e gerados, tanto qualitativa quanto quantitativamente, possibilitando uma edição de Gaussianos 3D em nível de parte mais robusta e flexível. O código está disponível em https://janeyeon.github.io/romap.
English
Recent advances in 3D neural representations and instance-level editing
models have enabled the efficient creation of high-quality 3D content. However,
achieving precise local 3D edits remains challenging, especially for Gaussian
Splatting, due to inconsistent multi-view 2D part segmentations and inherently
ambiguous nature of Score Distillation Sampling (SDS) loss. To address these
limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that
enables precise and drastic part-level modifications. First, we introduce a
robust 3D mask generation module with our 3D-Geometry Aware Label Prediction
(3D-GALP), which uses spherical harmonics (SH) coefficients to model
view-dependent label variations and soft-label property, yielding accurate and
consistent part segmentations across viewpoints. Second, we propose a
regularized SDS loss that combines the standard SDS loss with additional
regularizers. In particular, an L1 anchor loss is introduced via our Scheduled
Latent Mixing and Part (SLaMP) editing method, which generates high-quality
part-edited 2D images and confines modifications only to the target region
while preserving contextual coherence. Additional regularizers, such as
Gaussian prior removal, further improve flexibility by allowing changes beyond
the existing context, and robust 3D masking prevents unintended edits.
Experimental results demonstrate that our RoMaP achieves state-of-the-art local
3D editing on both reconstructed and generated Gaussian scenes and objects
qualitatively and quantitatively, making it possible for more robust and
flexible part-level 3D Gaussian editing. Code is available at
https://janeyeon.github.io/romap.