GaussianSR: 2D 확산 사전 지식을 활용한 3D 가우시안 초해상도

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

저자: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

초록

저해상도 입력 뷰에서 고해상도 새로운 뷰 합성(HRNVS)을 달성하는 것은 고해상도 데이터의 부족으로 인해 어려운 과제입니다. 기존 방법들은 저해상도 입력 뷰에서 고해상도 Neural Radiance Field(NeRF)를 최적화하지만 느린 렌더링 속도로 인해 어려움을 겪었습니다. 본 연구에서는 더 빠른 렌더링 속도로 고품질 이미지를 생성할 수 있는 3D Gaussian Splatting(3DGS)을 기반으로 방법을 제안합니다. 고해상도 합성을 위한 데이터 부족 문제를 완화하기 위해, 기존의 2D diffusion prior를 활용하여 Score Distillation Sampling(SDS)을 통해 2D 지식을 3D로 전이하는 방법을 제안합니다. 그러나 생성적 prior가 가져오는 무작위성으로 인해 Gaussian 기반 3D 초해상도에 SDS를 직접 적용하면 바람직하지 않고 중복된 3D Gaussian primitive가 생성됩니다. 이 문제를 완화하기 위해, 우리는 SDS가 도입하는 확률적 방해를 줄이기 위한 두 가지 간단하지만 효과적인 기법을 소개합니다. 구체적으로, 1) SDS의 diffusion timestep 범위를 annealing 전략으로 축소하고, 2) densification 과정에서 중복된 Gaussian primitive를 무작위로 제거합니다. 광범위한 실험을 통해 제안된 GaussainSR이 합성 및 실제 데이터셋에서 저해상도 입력만으로도 HRNVS를 위한 고품질 결과를 달성할 수 있음을 입증했습니다. 프로젝트 페이지: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/