Naar realistische voorbeeldgebaseerde modellering via 3D Gaussiaans stikwerk

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

Auteurs: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

Samenvatting

Het gebruik van delen van bestaande modellen om nieuwe modellen te herbouwen, vaak aangeduid als voorbeeldgebaseerd modelleren, is een klassieke methodologie binnen het domein van computergraphics. Eerdere werken richten zich voornamelijk op vormcompositie, waardoor ze moeilijk te gebruiken zijn voor realistische compositie van 3D-objecten die uit echte scènes zijn vastgelegd. Dit leidt tot het combineren van meerdere NeRF's in een enkele 3D-scène om naadloze uiterlijke blending te bereiken. De huidige SeamlessNeRF-methode heeft echter moeite met interactief bewerken en harmonieuze stitching voor echte scènes vanwege zijn gradientgebaseerde strategie en rastergebaseerde representatie. Daarom presenteren we een voorbeeldgebaseerde modelleermethode die meerdere Gaussische velden combineert in een puntgebaseerde representatie met behulp van sample-geleide synthese. Specifiek creëren we voor compositie een GUI om meerdere velden in realtime te segmenteren en te transformeren, waardoor een semantisch betekenisvolle compositie van modellen die worden gerepresenteerd door 3D Gaussian Splatting (3DGS) eenvoudig kan worden verkregen. Voor textuurblending wordt, vanwege de discrete en onregelmatige aard van 3DGS, het rechtstreeks toepassen van gradientpropagatie zoals bij SeamlessNeRF niet ondersteund. Daarom wordt een nieuwe sampling-gebaseerde kloningsmethode voorgesteld om de blending te harmoniseren terwijl de oorspronkelijke rijke textuur en inhoud behouden blijven. Onze workflow bestaat uit drie stappen: 1) realtime segmentatie en transformatie van een Gaussisch model met behulp van een goed afgestemde GUI, 2) KNN-analyse om grenspunten te identificeren in het snijgebied tussen de bron- en doelmodellen, en 3) tweefase-optimalisatie van het doelmodel met behulp van sampling-gebaseerd klonen en gradientbeperkingen. Uitgebreide experimentele resultaten valideren dat onze aanpak eerdere werken aanzienlijk overtreft in termen van realistische synthese, wat de praktische bruikbaarheid aantoont. Meer demo's zijn beschikbaar op https://ingra14m.github.io/gs_stitching_website.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.