Edição Gaussiana 3D com uma Única Imagem

3D Gaussian Editing with A Single Image

August 14, 2024

Autores: Guan Luo, Tian-Xing Xu, Ying-Tian Liu, Xiao-Xiong Fan, Fang-Lue Zhang, Song-Hai Zhang

cs.AI

Resumo

A modelagem e manipulação de cenas 3D capturadas do mundo real são fundamentais em várias aplicações, atraindo crescente interesse de pesquisa. Enquanto trabalhos anteriores em edição alcançaram resultados interessantes por meio da manipulação de malhas 3D, frequentemente exigem malhas reconstruídas com precisão para realizar a edição, o que limita sua aplicação na geração de conteúdo 3D. Para abordar essa lacuna, introduzimos uma nova abordagem de edição de cenas 3D impulsionada por uma única imagem, baseada em Espalhamento Gaussiano 3D, permitindo manipulação intuitiva por meio da edição direta do conteúdo em um plano de imagem 2D. Nosso método aprende a otimizar os Gaussianos 3D para se alinharem com uma versão editada da imagem renderizada a partir de um ponto de vista especificado pelo usuário da cena original. Para capturar deformações de objetos em longas distâncias, introduzimos perda posicional no processo de otimização do Espalhamento Gaussiano 3D e possibilitamos a propagação de gradientes por meio de reparametrização. Para lidar com Gaussianos 3D ocultos ao renderizar a partir do ponto de vista especificado, construímos uma estrutura baseada em âncoras e empregamos uma estratégia de otimização de baixa para alta resolução capaz de lidar com deformações em longas distâncias mantendo a estabilidade estrutural. Além disso, projetamos uma nova estratégia de máscara para identificar adaptativamente regiões de deformação não rígida para modelagem em pequena escala. Experimentos extensivos mostram a eficácia de nosso método no tratamento de detalhes geométricos, deformações em longas distâncias e não rígidas, demonstrando flexibilidade e qualidade de edição superiores em comparação com abordagens anteriores.

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.