Verso la modellazione basata su esempi realistici tramite l'unione gaussiana tridimensionale.

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

Autori: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

Abstract

L'utilizzo di parti di modelli esistenti per ricostruire nuovi modelli, comunemente definito come modellazione basata su esempi, è una metodologia classica nel campo della grafica computerizzata. Lavori precedenti si concentrano principalmente sulla composizione delle forme, rendendoli molto difficili da utilizzare per la composizione realistica di oggetti 3D catturati da scene del mondo reale. Ciò porta alla combinazione di più NeRF in una singola scena 3D per ottenere un mescolamento dell'aspetto senza soluzione di continuità. Tuttavia, il metodo attuale SeamlessNeRF fatica a raggiungere la modifica interattiva e la fusione armoniosa per scene del mondo reale a causa della sua strategia basata sui gradienti e della rappresentazione basata su griglia. A tal fine, presentiamo un metodo di modellazione basato su esempi che combina più campi gaussiani in una rappresentazione basata su punti utilizzando la sintesi guidata da campioni. In particolare, per quanto riguarda la composizione, creiamo un'interfaccia grafica utente per segmentare e trasformare più campi in tempo reale, ottenendo facilmente una composizione semanticamente significativa di modelli rappresentati da Splatting Gaussiano 3D (3DGS). Per la fusione delle texture, a causa della natura discreta e irregolare del 3DGS, l'applicazione diretta della propagazione dei gradienti come in SeamlessNeRF non è supportata. Pertanto, viene proposto un nuovo metodo di clonazione basato su campionamento per armonizzare la fusione preservando la texture e i contenuti originali. Il nostro flusso di lavoro consiste in tre fasi: 1) segmentazione e trasformazione in tempo reale di un modello gaussiano utilizzando un'interfaccia grafica utente ben progettata, 2) analisi KNN per identificare i punti di confine nell'area di intersezione tra i modelli di origine e di destinazione, e 3) ottimizzazione in due fasi del modello di destinazione utilizzando la clonazione basata su campionamento e i vincoli sui gradienti. Estesi risultati sperimentali convalidano che il nostro approccio supera significativamente i lavori precedenti in termini di sintesi realistica, dimostrandone la praticità. Ulteriori dimostrazioni sono disponibili su https://ingra14m.github.io/gs_stitching_website.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.