GaussianObject: 가우시안 스플래팅을 통해 단 4장의 이미지로 고품질 3D 객체 획득하기

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

February 15, 2024

저자: Chen Yang, Sikuang Li, Jiemin Fang, Ruofan Liang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

초록

극도로 희소한 시점에서 3D 객체를 재구성하고 렌더링하는 것은 3D 비전 기술의 응용을 촉진하고 사용자 경험을 개선하는 데 있어 매우 중요합니다. 그러나 희소한 시점에서 얻은 이미지는 매우 제한된 3D 정보만을 포함하고 있어 두 가지 주요 문제를 야기합니다: 1) 매칭을 위한 이미지가 너무 적어 다중 시점 일관성을 구축하기 어려움; 2) 시점 커버리지가 불충분하여 객체 정보가 부분적으로 누락되거나 과도하게 압축됨. 이러한 문제를 해결하기 위해, 우리는 Gaussian splatting을 사용하여 3D 객체를 표현하고 렌더링하는 GaussianObject 프레임워크를 제안하며, 단 4장의 입력 이미지로도 높은 렌더링 품질을 달성합니다. 먼저, 초기 최적화 과정에 구조적 사전 지식을 명시적으로 주입하여 다중 시점 일관성을 구축하는 데 도움을 주는 시각적 외피(visual hull)와 플로터 제거(floater elimination) 기법을 도입하여 대략적인 3D 가우시안 표현을 생성합니다. 그런 다음, 누락된 객체 정보를 보완하기 위해 확산 모델(diffusion model) 기반의 가우시안 수리 모델을 구축하여 가우시안을 더욱 정제합니다. 우리는 수리 모델을 훈련하기 위한 이미지 쌍을 얻기 위해 자체 생성 전략을 설계합니다. 우리의 GaussianObject는 MipNeRF360, OmniObject3D, OpenIllumination 등 여러 도전적인 데이터셋에서 평가되었으며, 단 4개의 시점에서도 강력한 재구성 결과를 달성하고 기존의 최신 방법들을 크게 능가하는 성능을 보여줍니다.

English

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting, that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination which explicitly inject structure priors into the initial optimization process for helping build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. Our GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, and OpenIllumination, achieving strong reconstruction results from only 4 views and significantly outperforming previous state-of-the-art methods.