GaussianSR: 3D Гауссово суперразрешение с 2D диффузными априорными данными

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

Авторы: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

Аннотация

Достижение синтеза нового изображения высокого разрешения (HRNVS) из низкоразрешенных входных изображений является сложной задачей из-за отсутствия данных высокого разрешения. Предыдущие методы оптимизируют высокоразрешенное нейронное поле излучения (NeRF) из низкоразрешенных входных изображений, но страдают от медленной скорости визуализации. В данной работе мы основываем наш метод на трехмерной гауссовой проекции (3DGS) из-за его способности создавать изображения высокого качества с более быстрой скоростью визуализации. Для уменьшения нехватки данных для синтеза более высокого разрешения мы предлагаем использовать готовые 2D диффузионные априори, конденсируя знания 2D в 3D с помощью метода выборочного дистилляционного сэмплирования (SDS). Тем не менее, применение SDS непосредственно к гауссовскому трехмерному суперразрешению приводит к нежелательным и избыточным 3D гауссовским примитивам из-за случайности, внесенной генеративными априори. Для устранения этой проблемы мы представляем две простые, но эффективные техники для снижения стохастических помех, внесенных SDS. Конкретно, мы 1) сужаем диапазон временного шага диффузии в SDS с помощью стратегии отжига; 2) случайным образом удаляем избыточные гауссовские примитивы во время уплотнения. Обширные эксперименты показали, что наш предложенный GaussainSR способен достигать высококачественных результатов для HRNVS с использованием только низкоразрешенных входных данных как на синтетических, так и на реальных наборах данных. Страница проекта: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/