Hacia un modelado realista basado en ejemplos a través de la unión gaussiana tridimensional.

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

Autores: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

Resumen

Utilizar partes de modelos existentes para reconstruir nuevos modelos, comúnmente denominado modelado basado en ejemplos, es una metodología clásica en el ámbito de la gráfica por computadora. Trabajos anteriores se centran principalmente en la composición de formas, lo que los hace muy difíciles de usar para la composición realista de objetos 3D capturados de escenas del mundo real. Esto lleva a combinar múltiples NeRFs en una sola escena 3D para lograr una mezcla de apariencia fluida. Sin embargo, el método actual SeamlessNeRF lucha por lograr una edición interactiva y un ensamblaje armonioso para escenas del mundo real debido a su estrategia basada en gradientes y representación basada en cuadrícula. Con este fin, presentamos un método de modelado basado en ejemplos que combina múltiples campos gaussianos en una representación basada en puntos utilizando síntesis guiada por muestras. Específicamente, en cuanto a la composición, creamos una interfaz gráfica de usuario para segmentar y transformar múltiples campos en tiempo real, obteniendo fácilmente una composición semánticamente significativa de modelos representados por Splatting Gaussiano 3D (3DGS). Para la mezcla de texturas, debido a la naturaleza discreta e irregular de 3DGS, la aplicación directa de la propagación de gradientes como en SeamlssNeRF no es compatible. Por lo tanto, se propone un novedoso método de clonación basado en muestreo para armonizar la mezcla preservando la textura y contenido originales. Nuestro flujo de trabajo consta de tres pasos: 1) segmentación y transformación en tiempo real de un modelo gaussiano utilizando una interfaz gráfica de usuario bien diseñada, 2) análisis KNN para identificar puntos de frontera en el área de intersección entre los modelos fuente y objetivo, y 3) optimización en dos fases del modelo objetivo utilizando clonación basada en muestreo y restricciones de gradientes. Resultados experimentales extensos validan que nuestro enfoque supera significativamente a trabajos anteriores en términos de síntesis realista, demostrando su practicidad. Se pueden encontrar más demostraciones en https://ingra14m.github.io/gs_stitching_website.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.