GaussianSR: Super-resolução 3D com Gaussianas utilizando Priors de Difusão 2D

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

Autores: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

Resumo

A obtenção de síntese de novas visões de alta resolução (HRNVS) a partir de visões de entrada de baixa resolução é uma tarefa desafiadora devido à falta de dados de alta resolução. Métodos anteriores otimizam campos de radiação neural (NeRF) de alta resolução a partir de visões de entrada de baixa resolução, mas sofrem com uma velocidade de renderização lenta. Neste trabalho, baseamos nosso método no Splatting Gaussiano 3D (3DGS) devido à sua capacidade de produzir imagens de alta qualidade com uma velocidade de renderização mais rápida. Para aliviar a escassez de dados para síntese de resolução mais alta, propomos aproveitar priors de difusão 2D prontamente disponíveis, destilando o conhecimento 2D em 3D com Amostragem de Destilação de Pontuação (SDS). No entanto, aplicar SDS diretamente à super-resolução 3D baseada em Gaussianos leva a primitivos Gaussianos 3D indesejáveis e redundantes, devido à aleatoriedade trazida pelos priors generativos. Para mitigar esse problema, introduzimos duas técnicas simples, mas eficazes, para reduzir as perturbações estocásticas introduzidas pelo SDS. Especificamente, 1) reduzimos o intervalo do passo de tempo de difusão no SDS com uma estratégia de recozimento; 2) descartamos aleatoriamente primitivos Gaussianos redundantes durante a densificação. Experimentos extensivos demonstraram que nosso GaussainSR proposto pode alcançar resultados de alta qualidade para HRNVS com apenas entradas de baixa resolução em conjuntos de dados sintéticos e do mundo real. Página do projeto: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/