Надежное маскированное редактирование на уровне частей в 3D-гауссовом сплаттинге с использованием регулярного сэмплирования на основе оценки градиента

Robust 3D-Masked Part-level Editing in 3D Gaussian Splatting with Regularized Score Distillation Sampling

July 15, 2025

Авторы: Hayeon Kim, Ji Ha Jang, Se Young Chun

cs.AI

Аннотация

Последние достижения в области 3D-нейронных представлений и моделей редактирования на уровне экземпляров позволили эффективно создавать высококачественный 3D-контент. Однако достижение точного локального 3D-редактирования остается сложной задачей, особенно для метода Gaussian Splatting, из-за несоответствий в многовидовых 2D-сегментациях частей и присущей неоднозначности функции потерь Score Distillation Sampling (SDS). Для преодоления этих ограничений мы предлагаем RoMaP — новый фреймворк для локального редактирования 3D-гауссовых объектов, который обеспечивает точные и радикальные изменения на уровне частей. Во-первых, мы представляем надежный модуль генерации 3D-масок с использованием нашего метода 3D-Geometry Aware Label Prediction (3D-GALP), который использует коэффициенты сферических гармоник (SH) для моделирования зависящих от вида вариаций меток и свойства мягких меток, что позволяет получать точные и согласованные сегментации частей для разных ракурсов. Во-вторых, мы предлагаем регуляризованную функцию потерь SDS, которая сочетает стандартную SDS с дополнительными регуляризаторами. В частности, вводится L1-потеря с использованием нашего метода Scheduled Latent Mixing and Part (SLaMP), который генерирует высококачественные 2D-изображения с отредактированными частями и ограничивает изменения только целевой областью, сохраняя контекстную согласованность. Дополнительные регуляризаторы, такие как удаление гауссова априори, повышают гибкость, позволяя вносить изменения за пределы существующего контекста, а надежные 3D-маски предотвращают нежелательные правки. Экспериментальные результаты показывают, что наш RoMaP достигает передовых результатов в локальном 3D-редактировании как для реконструированных, так и для сгенерированных гауссовых сцен и объектов как качественно, так и количественно, что делает возможным более надежное и гибкое редактирование на уровне частей 3D-гауссовых объектов. Код доступен по адресу https://janeyeon.github.io/romap.

English

Recent advances in 3D neural representations and instance-level editing models have enabled the efficient creation of high-quality 3D content. However, achieving precise local 3D edits remains challenging, especially for Gaussian Splatting, due to inconsistent multi-view 2D part segmentations and inherently ambiguous nature of Score Distillation Sampling (SDS) loss. To address these limitations, we propose RoMaP, a novel local 3D Gaussian editing framework that enables precise and drastic part-level modifications. First, we introduce a robust 3D mask generation module with our 3D-Geometry Aware Label Prediction (3D-GALP), which uses spherical harmonics (SH) coefficients to model view-dependent label variations and soft-label property, yielding accurate and consistent part segmentations across viewpoints. Second, we propose a regularized SDS loss that combines the standard SDS loss with additional regularizers. In particular, an L1 anchor loss is introduced via our Scheduled Latent Mixing and Part (SLaMP) editing method, which generates high-quality part-edited 2D images and confines modifications only to the target region while preserving contextual coherence. Additional regularizers, such as Gaussian prior removal, further improve flexibility by allowing changes beyond the existing context, and robust 3D masking prevents unintended edits. Experimental results demonstrate that our RoMaP achieves state-of-the-art local 3D editing on both reconstructed and generated Gaussian scenes and objects qualitatively and quantitatively, making it possible for more robust and flexible part-level 3D Gaussian editing. Code is available at https://janeyeon.github.io/romap.