GaussianSR: Superresolución 3D con Gaussianas utilizando Priores de Difusión 2D

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

Autores: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

Resumen

Lograr la síntesis de nuevas vistas de alta resolución (HRNVS) a partir de vistas de entrada de baja resolución es una tarea desafiante debido a la falta de datos de alta resolución. Métodos anteriores optimizan campos de radiancia neuronal (NeRF) de alta resolución a partir de vistas de entrada de baja resolución, pero sufren de una velocidad de renderizado lenta. En este trabajo, basamos nuestro método en el *splatting* de Gaussianas 3D (3DGS) debido a su capacidad para producir imágenes de alta calidad a una velocidad de renderizado más rápida. Para mitigar la escasez de datos para la síntesis de mayor resolución, proponemos aprovechar *priors* de difusión 2D disponibles mediante la destilación del conocimiento 2D en 3D con *Score Distillation Sampling* (SDS). Sin embargo, aplicar SDS directamente a la super-resolución 3D basada en Gaussianas conduce a primitivas 3D de Gaussianas redundantes y no deseadas, debido a la aleatoriedad introducida por los *priors* generativos. Para mitigar este problema, introducimos dos técnicas simples pero efectivas para reducir las perturbaciones estocásticas introducidas por SDS. Específicamente, 1) reducimos el rango del paso de tiempo de difusión en SDS con una estrategia de *annealing*; 2) descartamos aleatoriamente primitivas de Gaussianas redundantes durante la densificación. Experimentos extensivos han demostrado que nuestro método propuesto, GaussainSR, puede alcanzar resultados de alta calidad para HRNVS con solo entradas de baja resolución en conjuntos de datos tanto sintéticos como del mundo real. Página del proyecto: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/