Vers une modélisation réaliste basée sur des exemples via l'assemblage gaussien en 3D

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

Auteurs: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

Résumé

L'utilisation de parties de modèles existants pour reconstruire de nouveaux modèles, communément appelée modélisation par l'exemple, est une méthodologie classique dans le domaine de la graphique par ordinateur. Les travaux précédents se concentrent principalement sur la composition des formes, ce qui les rend très difficiles à utiliser pour la composition réaliste d'objets 3D capturés à partir de scènes du monde réel. Cela conduit à combiner plusieurs NeRFs dans une seule scène 3D pour obtenir un mélange d'apparence homogène. Cependant, la méthode actuelle SeamlessNeRF a du mal à atteindre l'édition interactive et l'assemblage harmonieux pour les scènes du monde réel en raison de sa stratégie basée sur les gradients et de sa représentation basée sur une grille. À cette fin, nous présentons une méthode de modélisation par l'exemple qui combine plusieurs champs gaussiens dans une représentation basée sur des points en utilisant une synthèse guidée par des échantillons. Plus précisément, en ce qui concerne la composition, nous créons une interface graphique utilisateur (GUI) pour segmenter et transformer plusieurs champs en temps réel, obtenant facilement une composition sémantiquement significative de modèles représentés par un Étalement Gaussien 3D (3DGS). Pour le mélange de textures, en raison de la nature discrète et irrégulière du 3DGS, l'application directe de la propagation de gradient comme dans SeamlessNeRF n'est pas prise en charge. Ainsi, une nouvelle méthode de clonage basée sur des échantillons est proposée pour harmoniser le mélange tout en préservant la texture et le contenu originaux riches. Notre flux de travail se compose de trois étapes : 1) segmentation et transformation en temps réel d'un modèle gaussien à l'aide d'une GUI bien conçue, 2) analyse KNN pour identifier les points de frontière dans la zone d'intersection entre les modèles source et cible, et 3) optimisation en deux phases du modèle cible en utilisant le clonage basé sur des échantillons et des contraintes de gradient. Des résultats expérimentaux approfondis valident que notre approche surpasse significativement les travaux précédents en termes de synthèse réaliste, démontrant sa praticité. Plus de démonstrations sont disponibles sur https://ingra14m.github.io/gs_stitching_website.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.