Auf dem Weg zu realistischer beispielbasierter Modellierung durch 3D-Gaußsches Stitching.

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

Autoren: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

Zusammenfassung

Die Verwendung von Teilen bestehender Modelle zum Wiederaufbau neuer Modelle, allgemein als beispielbasierte Modellierung bezeichnet, ist eine klassische Methodik im Bereich der Computergrafik. Frühere Arbeiten konzentrierten sich hauptsächlich auf die Formzusammensetzung, was sie sehr schwer für die realistische Komposition von 3D-Objekten, die aus Szenen der realen Welt erfasst wurden, nutzbar machte. Dies führte dazu, dass mehrere NeRFs zu einer einzigen 3D-Szene kombiniert wurden, um eine nahtlose Erscheinungsmischung zu erreichen. Allerdings hat die aktuelle Methode SeamlessNeRF Schwierigkeiten, interaktive Bearbeitung und harmonisches Zusammennähen für Szenen aus der realen Welt aufgrund ihrer gradientenbasierten Strategie und gitterbasierten Darstellung zu erreichen. Zu diesem Zweck präsentieren wir eine beispielbasierte Modellierungsmethode, die mehrere Gaußsche Felder in einer punktbasierten Darstellung unter Verwendung von samplegeführter Synthese kombiniert. Insbesondere erstellen wir für die Komposition eine grafische Benutzeroberfläche (GUI), um mehrere Felder in Echtzeit zu segmentieren und zu transformieren, wodurch eine semantisch sinnvolle Komposition von Modellen erreicht wird, die durch 3D-Gaußsche Splatting (3DGS) dargestellt werden. Für die Texturvermischung wird aufgrund der diskreten und unregelmäßigen Natur von 3DGS die direkte Anwendung von Gradientenpropagation wie bei SeamlessNeRF nicht unterstützt. Daher wird eine neuartige samplingbasierte Klonungsmethode vorgeschlagen, um die Vermischung zu harmonisieren und gleichzeitig die ursprüngliche reichhaltige Textur und den Inhalt zu bewahren. Unser Workflow besteht aus drei Schritten: 1) Echtzeitsegmentierung und Transformation eines Gaußschen Modells mithilfe einer maßgeschneiderten GUI, 2) KNN-Analyse zur Identifizierung von Randpunkten im Schnittbereich zwischen den Quell- und Zielmodellen und 3) zweiphasige Optimierung des Zielmodells unter Verwendung von samplingbasierter Klonung und Gradientenbeschränkungen. Umfangreiche experimentelle Ergebnisse bestätigen, dass unser Ansatz in Bezug auf realistische Synthese signifikant besser abschneidet als frühere Arbeiten und seine Praktikabilität demonstriert. Weitere Demos sind unter https://ingra14m.github.io/gs_stitching_website verfügbar.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.