Редактирование трехмерных гауссовских моделей с использованием одного изображения

3D Gaussian Editing with A Single Image

August 14, 2024

Авторы: Guan Luo, Tian-Xing Xu, Ying-Tian Liu, Xiao-Xiong Fan, Fang-Lue Zhang, Song-Hai Zhang

cs.AI

Аннотация

Моделирование и манипулирование трехмерными сценами, захваченными из реального мира, имеют ключевое значение в различных приложениях, привлекая растущий интерес исследователей. В то время как предыдущие работы по редактированию достигли интересных результатов через манипуляцию трехмерными сетками, они часто требуют точно восстановленных сеток для выполнения редактирования, что ограничивает их применение в генерации трехмерного контента. Для решения этого пробела мы представляем новый подход к редактированию трехмерных сцен на основе трехмерного гауссовского сплетения, позволяющий интуитивно манипулировать путем непосредственного редактирования контента на плоскости изображения. Наш метод учится оптимизировать трехмерные гауссианы для их выравнивания с отредактированной версией изображения, воссозданного из пользовательски заданной точки зрения оригинальной сцены. Для улавливания деформаций объектов на большие расстояния мы вводим потерю позиции в процесс оптимизации трехмерного гауссовского сплетения и обеспечиваем распространение градиента через репараметризацию. Для работы с заслоненными трехмерными гауссианами при воспроизведении из указанной точки зрения мы строим структуру на основе якорей и используем стратегию грубой и тонкой оптимизации, способную обрабатывать деформации на большие расстояния, сохраняя структурную стабильность. Кроме того, мы разрабатываем новую стратегию маскировки для адаптивной идентификации областей неригидных деформаций для моделирования мелкой детали. Обширные эксперименты демонстрируют эффективность нашего метода в обработке геометрических деталей, деформаций на большие расстояния и неригидных деформаций, показывая превосходную гибкость и качество редактирования по сравнению с предыдущими подходами.

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.