正則化スコア蒸留サンプリングを用いた3Dガウススプラッティングにおけるロバストな3Dマスクパートレベル編集

Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling

July 15, 2025

著者: Hayeon Kim, Ji Ha Jang, Se Young Chun

cs.AI

要旨

3Dニューラル表現とインスタンスレベル編集モデルの最近の進歩により、高品質な3Dコンテンツの効率的な作成が可能になりました。しかし、特にガウシアンスプラッティングにおいて、一貫性のないマルチビューの2Dパーツセグメンテーションと、スコア蒸留サンプリング（SDS）損失の本質的な曖昧さのため、正確な局所的な3D編集を実現することは依然として困難です。これらの制限に対処するため、我々はRoMaPを提案します。これは、正確で劇的なパーツレベルの変更を可能にする新しい局所3Dガウシアン編集フレームワークです。まず、3Dジオメトリを考慮したラベル予測（3D-GALP）を用いた堅牢な3Dマスク生成モジュールを導入します。これは、球面調和関数（SH）係数を使用して視点依存のラベル変動とソフトラベル特性をモデル化し、視点間で正確で一貫したパーツセグメンテーションを実現します。次に、標準のSDS損失と追加の正則化項を組み合わせた正則化SDS損失を提案します。特に、スケジュールされた潜在混合とパーツ（SLaMP）編集手法を介してL1アンカー損失を導入し、高品質なパーツ編集2D画像を生成し、ターゲット領域のみに変更を限定しながら文脈の一貫性を保持します。ガウシアンプライアの除去などの追加の正則化項は、既存の文脈を超えた変更を可能にすることで柔軟性をさらに向上させ、堅牢な3Dマスキングは意図しない編集を防ぎます。実験結果は、我々のRoMaPが再構築および生成されたガウシアンシーンとオブジェクトの両方において、質的および量的に最先端の局所3D編集を達成し、より堅牢で柔軟なパーツレベルの3Dガウシアン編集を可能にすることを示しています。コードはhttps://janeyeon.github.io/romapで公開されています。

English

Recent advances in 3D neural representations and instance-level editing models have enabled the efficient creation of high-quality 3D content. However, achieving precise local 3D edits remains challenging, especially for Gaussian Splatting, due to inconsistent multi-view 2D part segmentations and inherently ambiguous nature of Score Distillation Sampling (SDS) loss. To address these limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that enables precise and drastic part-level modifications. First, we introduce a robust 3D mask generation module with our 3D-Geometry Aware Label Prediction (3D-GALP), which uses spherical harmonics (SH) coefficients to model view-dependent label variations and soft-label property, yielding accurate and consistent part segmentations across viewpoints. Second, we propose a regularized SDS loss that combines the standard SDS loss with additional regularizers. In particular, an L1 anchor loss is introduced via our Scheduled Latent Mixing and Part (SLaMP) editing method, which generates high-quality part-edited 2D images and confines modifications only to the target region while preserving contextual coherence. Additional regularizers, such as Gaussian prior removal, further improve flexibility by allowing changes beyond the existing context, and robust 3D masking prevents unintended edits. Experimental results demonstrate that our RoMaP achieves state-of-the-art local 3D editing on both reconstructed and generated Gaussian scenes and objects qualitatively and quantitatively, making it possible for more robust and flexible part-level 3D Gaussian editing. Code is available at https://janeyeon.github.io/romap.