정규화된 점수 증류 샘플링을 활용한 3D 가우시안 스플래팅에서의 강건한 3D 마스크 부분 수정

Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling

July 15, 2025

저자: Hayeon Kim, Ji Ha Jang, Se Young Chun

cs.AI

초록

3D 신경 표현 및 인스턴스 수준 편집 모델의 최근 발전으로 고품질 3D 콘텐츠의 효율적인 생성이 가능해졌습니다. 그러나, 특히 Gaussian Splatting의 경우, 일관되지 않은 다중 뷰 2D 부분 분할과 Score Distillation Sampling (SDS) 손실의 본질적으로 모호한 특성으로 인해 정밀한 로컬 3D 편집을 달성하는 것은 여전히 어려운 과제입니다. 이러한 한계를 해결하기 위해, 우리는 정밀하고 극적인 부분 수준 수정을 가능하게 하는 새로운 로컬 3D Gaussian 편집 프레임워크인 RoMaP를 제안합니다. 먼저, 우리는 3D-Geometry Aware Label Prediction (3D-GALP)을 통해 강력한 3D 마스크 생성 모듈을 소개합니다. 이 모듈은 구면 조화 함수(SH) 계수를 사용하여 뷰 의존적 레이블 변동과 소프트 레이블 속성을 모델링하여 다양한 시점에서 정확하고 일관된 부분 분할을 제공합니다. 둘째, 우리는 표준 SDS 손실과 추가 정규화자를 결합한 정규화된 SDS 손실을 제안합니다. 특히, Scheduled Latent Mixing and Part (SLaMP) 편집 방법을 통해 L1 앵커 손실을 도입하여 고품질의 부분 편집된 2D 이미지를 생성하고, 컨텍스트 일관성을 유지하면서 수정을 대상 영역으로만 제한합니다. Gaussian 사전 제거와 같은 추가 정규화자는 기존 컨텍스트를 넘어서는 변경을 허용하여 유연성을 더욱 향상시키고, 강력한 3D 마스킹은 의도하지 않은 편집을 방지합니다. 실험 결과는 우리의 RoMaP가 재구성 및 생성된 Gaussian 장면과 객체에서 정성적 및 정량적으로 최첨단 로컬 3D 편집을 달성함을 보여주며, 더 강력하고 유연한 부분 수준 3D Gaussian 편집을 가능하게 합니다. 코드는 https://janeyeon.github.io/romap에서 확인할 수 있습니다.

English

Recent advances in 3D neural representations and instance-level editing models have enabled the efficient creation of high-quality 3D content. However, achieving precise local 3D edits remains challenging, especially for Gaussian Splatting, due to inconsistent multi-view 2D part segmentations and inherently ambiguous nature of Score Distillation Sampling (SDS) loss. To address these limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that enables precise and drastic part-level modifications. First, we introduce a robust 3D mask generation module with our 3D-Geometry Aware Label Prediction (3D-GALP), which uses spherical harmonics (SH) coefficients to model view-dependent label variations and soft-label property, yielding accurate and consistent part segmentations across viewpoints. Second, we propose a regularized SDS loss that combines the standard SDS loss with additional regularizers. In particular, an L1 anchor loss is introduced via our Scheduled Latent Mixing and Part (SLaMP) editing method, which generates high-quality part-edited 2D images and confines modifications only to the target region while preserving contextual coherence. Additional regularizers, such as Gaussian prior removal, further improve flexibility by allowing changes beyond the existing context, and robust 3D masking prevents unintended edits. Experimental results demonstrate that our RoMaP achieves state-of-the-art local 3D editing on both reconstructed and generated Gaussian scenes and objects qualitatively and quantitatively, making it possible for more robust and flexible part-level 3D Gaussian editing. Code is available at https://janeyeon.github.io/romap.