Modifica di Gaussiane 3D con una Singola Immagine

Abstract

La modellazione e la manipolazione di scene 3D acquisite dal mondo reale sono fondamentali in varie applicazioni, attirando un crescente interesse di ricerca. Sebbene i precedenti lavori sull'editing abbiano ottenuto risultati interessanti attraverso la manipolazione di mesh 3D, spesso richiedono mesh ricostruite con precisione per eseguire l'editing, il che limita la loro applicazione nella generazione di contenuti 3D. Per colmare questa lacuna, introduciamo un nuovo approccio di editing di scene 3D basato su una singola immagine, fondato sul 3D Gaussian Splatting, che consente una manipolazione intuitiva attraverso la modifica diretta del contenuto su un piano immagine 2D. Il nostro metodo apprende a ottimizzare i Gaussian 3D per allinearsi a una versione modificata dell'immagine renderizzata da un punto di vista specificato dall'utente della scena originale. Per catturare la deformazione a lungo raggio degli oggetti, introduciamo una perdita posizionale nel processo di ottimizzazione del 3D Gaussian Splatting e abilitiamo la propagazione del gradiente attraverso la riparametrizzazione. Per gestire i Gaussian 3D occlusi durante il rendering dal punto di vista specificato, costruiamo una struttura basata su ancore e impieghiamo una strategia di ottimizzazione da grossolana a fine, in grado di gestire la deformazione a lungo raggio mantenendo la stabilità strutturale. Inoltre, progettiamo una nuova strategia di mascheramento per identificare in modo adattivo le regioni di deformazione non rigida per una modellazione su scala fine. Esperimenti estensivi dimostrano l'efficacia del nostro metodo nel gestire dettagli geometrici, deformazioni a lungo raggio e non rigide, mostrando una flessibilità e una qualità di editing superiori rispetto agli approcci precedenti.

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.

Modifica di Gaussiane 3D con una Singola Immagine

3D Gaussian Editing with A Single Image

Abstract

Support