FDGaussian: 기하학적 인식 확산 모델을 통한 단일 이미지 기반 고속 가우시안 스플래팅

FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model

March 15, 2024

저자: Qijun Feng, Zhen Xing, Zuxuan Wu, Yu-Gang Jiang

cs.AI

초록

단일 시점 이미지로부터 세부적인 3D 객체를 재구성하는 것은 사용 가능한 정보가 제한적이기 때문에 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 단일 이미지 3D 재구성을 위한 새로운 2단계 프레임워크인 FDGaussian을 소개합니다. 최근의 방법들은 일반적으로 사전 훈련된 2D 확산 모델을 사용하여 입력 이미지에서 그럴듯한 새로운 시점을 생성하지만, 다중 시점 간 불일치 또는 기하학적 충실도 부족 문제에 직면합니다. 이러한 문제를 극복하기 위해, 우리는 2D 입력에서 3D 기하학적 특징을 추출하기 위한 직교 평면 분해 메커니즘을 제안하여 일관된 다중 시점 이미지 생성을 가능하게 합니다. 더 나아가, 우리는 에피폴라 어텐션을 통합하여 최신 Gaussian Splatting 기술을 가속화하여 다양한 시점의 이미지를 융합합니다. FDGaussian은 다양한 시점 간 높은 일관성을 가진 이미지를 생성하고, 질적 및 양적으로 고품질의 3D 객체를 재구성함을 입증합니다. 더 많은 예시는 우리의 웹사이트 https://qjfeng.net/FDGaussian/에서 확인할 수 있습니다.

English

Reconstructing detailed 3D objects from single-view images remains a challenging task due to the limited information available. In this paper, we introduce FDGaussian, a novel two-stage framework for single-image 3D reconstruction. Recent methods typically utilize pre-trained 2D diffusion models to generate plausible novel views from the input image, yet they encounter issues with either multi-view inconsistency or lack of geometric fidelity. To overcome these challenges, we propose an orthogonal plane decomposition mechanism to extract 3D geometric features from the 2D input, enabling the generation of consistent multi-view images. Moreover, we further accelerate the state-of-the-art Gaussian Splatting incorporating epipolar attention to fuse images from different viewpoints. We demonstrate that FDGaussian generates images with high consistency across different views and reconstructs high-quality 3D objects, both qualitatively and quantitatively. More examples can be found at our website https://qjfeng.net/FDGaussian/.