Rumo à Modelagem Baseada em Exemplos Realistas por meio da Costura Gaussiana 3D

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

Autores: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

Resumo

Utilizar partes de modelos existentes para reconstruir novos modelos, comumente denominado modelagem baseada em exemplos, é uma metodologia clássica no campo da computação gráfica. Trabalhos anteriores geralmente se concentram na composição de formas, tornando-as muito difíceis de serem usadas para a composição realista de objetos 3D capturados de cenas do mundo real. Isso leva à combinação de vários NeRFs em uma única cena 3D para obter uma mistura de aparência contínua. No entanto, o método atual SeamlessNeRF luta para alcançar edição interativa e costura harmoniosa para cenas do mundo real devido à sua estratégia baseada em gradientes e representação baseada em grade. Com esse propósito, apresentamos um método de modelagem baseada em exemplos que combina múltiplos campos gaussianos em uma representação baseada em pontos usando síntese guiada por amostras. Especificamente, para a composição, criamos uma GUI para segmentar e transformar múltiplos campos em tempo real, obtendo facilmente uma composição semanticamente significativa de modelos representados por Splatting Gaussiano 3D (3DGS). Para a mistura de texturas, devido à natureza discreta e irregular do 3DGS, a aplicação direta da propagação de gradientes como no SeamlssNeRF não é suportada. Assim, é proposto um novo método de clonagem baseado em amostragem para harmonizar a mistura, preservando a textura e conteúdo originais. Nosso fluxo de trabalho consiste em três etapas: 1) segmentação e transformação em tempo real de um modelo gaussiano usando uma GUI bem elaborada, 2) análise KNN para identificar pontos de fronteira na área de interseção entre os modelos de origem e alvo, e 3) otimização em duas fases do modelo alvo usando clonagem baseada em amostragem e restrições de gradientes. Resultados experimentais extensivos validam que nossa abordagem supera significativamente trabalhos anteriores em termos de síntese realista, demonstrando sua praticidade. Mais demonstrações estão disponíveis em https://ingra14m.github.io/gs_stitching_website.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.