3次元ガウス縫合を通じてリアルな例ベースモデリングに向けて

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

著者: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

要旨

既存のモデルの一部を使用して新しいモデルを再構築すること、一般的には例示ベースのモデリングと呼ばれる、これはコンピュータグラフィックスの領域における古典的な方法論である。これまでの研究は主に形状の構成に焦点を当てており、それらは現実世界のシーンからキャプチャされた3Dオブジェクトのリアルな構成には非常に難しいとされてきた。これにより、複数のNeRFを組み合わせてシームレスな外観のブレンディングを実現するために、現在のSeamlessNeRF手法が苦労している。これは、勾配ベースの戦略とグリッドベースの表現による実世界のシーンに対するインタラクティブな編集と調和の取れたステッチングの達成が困難であるためである。このため、我々は、サンプルによる合成を用いてポイントベースの表現で複数のガウス場を組み合わせる例示ベースのモデリング手法を提案する。具体的には、構成に関しては、3Dガウススプラッティング（3DGS）で表現されたモデルの意味のある構成を容易に得るために、リアルタイムで複数のフィールドをセグメント化および変換するためのGUIを作成する。テクスチャのブレンディングに関しては、3DGSの離散的かつ不規則な性質から、SeamlessNeRFのように勾配伝播を直接適用することはサポートされない。したがって、豊かな元のテクスチャとコンテンツを保持しながらブレンディングを調和させるために、新しいサンプリングベースのクローニング手法が提案されている。我々のワークフローは、以下の3つのステップで構成されている：1）適切に設計されたGUIを使用してガウスモデルをリアルタイムでセグメント化および変換する、2）ソースモデルとターゲットモデルの交差領域における境界点を特定するためのKNN分析、および3）サンプリングベースのクローニングと勾配制約を用いたターゲットモデルの2段階最適化。幅広い実験結果が、我々のアプローチがリアルな合成において先行研究を大幅に上回ることを検証し、その実用性を示している。詳細なデモは、https://ingra14m.github.io/gs_stitching_website で入手可能である。

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.