Édition 3D par Gaussiennes à partir d'une seule image

3D Gaussian Editing with A Single Image

August 14, 2024

Auteurs: Guan Luo, Tian-Xing Xu, Ying-Tian Liu, Xiao-Xiong Fan, Fang-Lue Zhang, Song-Hai Zhang

cs.AI

Résumé

La modélisation et la manipulation de scènes 3D capturées à partir du monde réel sont essentielles dans diverses applications, suscitant un intérêt croissant dans la recherche. Bien que les travaux précédents sur l'édition aient obtenu des résultats intéressants en manipulant des maillages 3D, ils nécessitent souvent des maillages reconstruits avec précision pour effectuer l'édition, ce qui limite leur application dans la génération de contenu 3D. Pour combler cette lacune, nous proposons une nouvelle approche d'édition de scènes 3D pilotée par une seule image, basée sur la technique de 3D Gaussian Splatting, permettant une manipulation intuitive via l'édition directe du contenu sur un plan d'image 2D. Notre méthode apprend à optimiser les Gaussiennes 3D pour les aligner avec une version modifiée de l'image rendue à partir d'un point de vue spécifié par l'utilisateur de la scène originale. Pour capturer les déformations d'objets à longue portée, nous introduisons une perte positionnelle dans le processus d'optimisation de la 3D Gaussian Splatting et permettons la propagation du gradient grâce à une reparamétrisation. Pour gérer les Gaussiennes 3D occluses lors du rendu à partir du point de vue spécifié, nous construisons une structure basée sur des ancres et employons une stratégie d'optimisation grossière à fine capable de gérer les déformations à longue portée tout en maintenant la stabilité structurelle. De plus, nous concevons une nouvelle stratégie de masquage pour identifier de manière adaptative les régions de déformation non rigide pour une modélisation à fine échelle. Des expériences approfondies montrent l'efficacité de notre méthode dans la gestion des détails géométriques, des déformations à longue portée et non rigides, démontrant une flexibilité et une qualité d'édition supérieures par rapport aux approches précédentes.

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.