GaussianSR: Super-Risoluzione 3D con Gaussiane e Prior di Diffusione 2D

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

Autori: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

Abstract

Ottenere una sintesi di nuove viste ad alta risoluzione (HRNVS) a partire da viste di input a bassa risoluzione è un compito impegnativo a causa della mancanza di dati ad alta risoluzione. I metodi precedenti ottimizzano un Neural Radiance Field (NeRF) ad alta risoluzione da viste di input a bassa risoluzione, ma soffrono di una velocità di rendering lenta. In questo lavoro, basiamo il nostro metodo su 3D Gaussian Splatting (3DGS) grazie alla sua capacità di produrre immagini di alta qualità con una velocità di rendering più rapida. Per alleviare la carenza di dati per la sintesi a risoluzione più elevata, proponiamo di sfruttare priorità di diffusione 2D già disponibili distillando la conoscenza 2D in 3D con Score Distillation Sampling (SDS). Tuttavia, applicare direttamente SDS alla super-risoluzione 3D basata su Gaussiane porta a primitive 3D Gaussiane indesiderate e ridondanti, a causa della casualità introdotta dalle priorità generative. Per mitigare questo problema, introduciamo due tecniche semplici ma efficaci per ridurre i disturbi stocastici introdotti da SDS. Nello specifico, 1) riduciamo l'intervallo del timestep di diffusione in SDS con una strategia di annealing; 2) scartiamo casualmente le primitive Gaussiane ridondanti durante la densificazione. Esperimenti estesi hanno dimostrato che il nostro GaussainSR proposto può ottenere risultati di alta qualità per HRNVS con solo input a bassa risoluzione su dataset sia sintetici che del mondo reale. Pagina del progetto: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/