GaussianSR: 3D Gaussiaanse Superresolutie met 2D Diffusie Priors

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

Auteurs: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

Samenvatting

Het bereiken van hoog-resolutie novel view synthesis (HRNVS) vanuit laag-resolutie invoerbeelden is een uitdagende taak vanwege het gebrek aan hoog-resolutie data. Eerdere methoden optimaliseren een hoog-resolutie Neural Radiance Field (NeRF) vanuit laag-resolutie invoerbeelden, maar lijden onder een trage renderingsnelheid. In dit werk baseren we onze methode op 3D Gaussian Splatting (3DGS) vanwege zijn vermogen om hoogwaardige beelden te produceren met een snellere renderingsnelheid. Om het gebrek aan data voor hogere-resolutie synthese te verlichten, stellen we voor om gebruik te maken van bestaande 2D diffusie-priors door de 2D kennis te destilleren naar 3D met Score Distillation Sampling (SDS). Echter, het direct toepassen van SDS op Gaussiaanse 3D super-resolutie leidt tot ongewenste en redundante 3D Gaussiaanse primitieven, vanwege de willekeurigheid die wordt geïntroduceerd door generatieve priors. Om dit probleem te verlichten, introduceren we twee eenvoudige maar effectieve technieken om stochastische verstoringen veroorzaakt door SDS te verminderen. Specifiek 1) verkleinen we het bereik van de diffusie-tijdstap in SDS met een afkoelingsstrategie; 2) verwijderen we willekeurig redundante Gaussiaanse primitieven tijdens verdichting. Uitgebreide experimenten hebben aangetoond dat onze voorgestelde GaussainSR hoogwaardige resultaten kan bereiken voor HRNVS met alleen laag-resolutie invoer op zowel synthetische als real-world datasets. Projectpagina: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/