GaussianSR: 3D Gaußsche Super-Auflösung mit 2D Diffusionsprioritäten

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

Autoren: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

Zusammenfassung

Die Erreichung einer hochauflösenden Neuansichtssynthese (HRNVS) aus niedrig auflösenden Eingangsansichten ist aufgrund des Mangels an hochauflösenden Daten eine anspruchsvolle Aufgabe. Frühere Methoden optimieren hochauflösende Neuronale Strahlungsfelder (NeRF) aus niedrig auflösenden Eingangsansichten, leiden jedoch unter langsamer Rendergeschwindigkeit. In dieser Arbeit basieren wir unsere Methode auf dem 3D-Gauß-Splatting (3DGS) aufgrund seiner Fähigkeit, qualitativ hochwertige Bilder mit schnellerer Rendergeschwindigkeit zu erzeugen. Um den Mangel an Daten für die Synthese höherer Auflösungen zu mildern, schlagen wir vor, handelsübliche 2D-Diffusionspriors zu nutzen, indem wir das 2D-Wissen in 3D mit Score-Distillation-Sampling (SDS) destillieren. Dennoch führt die direkte Anwendung von SDS auf gaußsche 3D-Superresolution zu unerwünschten und redundanten 3D-Gauß-Primitiven aufgrund der durch generative Priors verursachten Zufälligkeit. Um dieses Problem zu mildern, führen wir zwei einfache, aber effektive Techniken ein, um die durch SDS eingeführten stochastischen Störungen zu reduzieren. Speziell verkleinern wir 1) den Bereich des Diffusionszeitpunkts in SDS mit einer Überhitzungsstrategie und 2) verwerfen zufällig redundante gaußsche Primitiven während der Verdichtung. Umfangreiche Experimente haben gezeigt, dass unser vorgeschlagenes GaussainSR hochwertige Ergebnisse für HRNVS mit nur niedrig auflösenden Eingaben sowohl in synthetischen als auch in realen Datensätzen erzielen kann. Projektpage: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/