GaussianSR : Sur-résolution 3D par Gaussiennes avec a priori de diffusion 2D

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

Auteurs: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

Résumé

Atteindre une synthèse de nouvelles vues à haute résolution (HRNVS) à partir de vues d'entrée à basse résolution est une tâche complexe en raison du manque de données haute résolution. Les méthodes précédentes optimisent un champ de radiance neuronale (NeRF) haute résolution à partir de vues d'entrée à basse résolution, mais souffrent d'une vitesse de rendu lente. Dans ce travail, nous basons notre méthode sur le lissage de Gaussiennes 3D (3DGS) en raison de sa capacité à produire des images de haute qualité à une vitesse de rendu plus rapide. Pour pallier le manque de données pour la synthèse à plus haute résolution, nous proposons d'exploiter des préalables de diffusion 2D prêts à l'emploi en distillant la connaissance 2D en 3D avec l'échantillonnage par distillation de score (SDS). Cependant, l'application directe de SDS à la super-résolution 3D basée sur des Gaussiennes conduit à des primitives 3D Gaussiennes indésirables et redondantes, en raison de l'aléatoire introduit par les préalables génératifs. Pour atténuer ce problème, nous introduisons deux techniques simples mais efficaces pour réduire les perturbations stochastiques introduites par SDS. Plus précisément, nous 1) réduisons l'intervalle des pas de temps de diffusion dans SDS avec une stratégie de recuit ; 2) éliminons aléatoirement les primitives Gaussiennes redondantes lors de la densification. Des expériences approfondies ont démontré que notre méthode GaussainSR peut obtenir des résultats de haute qualité pour la HRNVS avec seulement des entrées à basse résolution sur des ensembles de données synthétiques et réels. Page du projet : https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/