실제 예제 기반 모델링을 위한 3D 가우시안 스티칭을 향하여

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

저자: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

초록

기존 모델의 부분을 사용하여 새로운 모델을 재구성하는 것은 컴퓨터 그래픽스 분야에서 고전적인 방법론으로서 예시 기반 모델링이라고 일반적으로 불립니다. 이전 연구들은 주로 형태 조합에 초점을 맞추어 왔으며, 이는 현실 세계에서 촬영된 3D 객체들을 현실적으로 조합하기 어렵게 만들었습니다. 이로 인해 여러 개의 NeRF를 결합하여 실제 세계 장면에서 매끄러운 외관 혼합을 달성하기 위한 시도가 있었으나, 현재의 SeamlessNeRF 방법은 그래디언트 기반 전략과 그리드 기반 표현 때문에 실제 세계 장면에 대한 상호작용적 편집과 조화로운 스티칭을 달성하기 어렵습니다. 이에 우리는 샘플 안내 합성을 사용하여 점 기반 표현에서 여러 가우시안 필드를 결합하는 예시 기반 모델링 방법을 제안합니다. 구체적으로, 구성에 있어서는 3D 가우시안 스플래팅(3DGS)으로 표현된 모델의 의미 있는 조합을 쉽게 얻기 위해 실시간으로 여러 필드를 분할하고 변형하는 GUI를 생성합니다. 텍스처 블렌딩에 있어서는 3DGS의 이산적이고 불규칙한 특성으로 인해 SeamlssNeRF와 같은 그래디언트 전파를 직접 적용하는 것이 불가능합니다. 따라서 원본 풍부한 텍스처와 콘텐츠를 보존하면서 블렌딩을 조화롭게 하는 새로운 샘플링 기반 클로닝 방법이 제안됩니다. 우리의 워크플로우는 다음 세 단계로 구성됩니다: 1) 정교하게 설계된 GUI를 사용하여 가우시안 모델을 실시간으로 분할하고 변형, 2) 소스 및 타겟 모델 사이의 교차 영역에서 경계점을 식별하기 위한 KNN 분석, 그리고 3) 샘플링 기반 클로닝과 그래디언트 제약 조건을 사용한 타겟 모델의 이차 최적화. 광범위한 실험 결과는 우리의 접근 방식이 현실적인 합성 측면에서 이전 연구들을 크게 능가함을 입증하며, 이의 실용성을 보여줍니다. 더 많은 데모는 https://ingra14m.github.io/gs_stitching_website에서 확인할 수 있습니다.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.