GaussianSR: 2D拡散事前分布を用いた3Dガウシアン超解像

GaussianSR: 3D Gaussian Super-Resolution with 2D Diffusion Priors

June 14, 2024

著者: Xiqian Yu, Hanxin Zhu, Tianyu He, Zhibo Chen

cs.AI

要旨

高解像度の新規視点合成（HRNVS）を低解像度の入力視点から達成することは、高解像度データの不足により困難な課題です。従来の手法では、低解像度の入力視点から高解像度のNeural Radiance Field（NeRF）を最適化しますが、レンダリング速度が遅いという問題がありました。本研究では、高速なレンダリング速度で高品質な画像を生成できる3D Gaussian Splatting（3DGS）を基盤としています。高解像度合成のためのデータ不足を緩和するため、既存の2D拡散事前分布を活用し、Score Distillation Sampling（SDS）を用いて2Dの知識を3Dに蒸留することを提案します。しかし、生成事前分布に伴うランダム性により、SDSを直接Gaussianベースの3D超解像度に適用すると、望ましくない冗長な3D Gaussianプリミティブが生じます。この問題を緩和するため、SDSによって導入される確率的な擾乱を軽減する2つのシンプルかつ効果的な手法を導入します。具体的には、1）SDSの拡散タイムステップの範囲をアニーリング戦略で縮小し、2）密度化の過程で冗長なGaussianプリミティブをランダムに棄却します。広範な実験により、提案するGaussianSRが、合成データセットと実世界のデータセットの両方において、低解像度の入力のみでHRNVSの高品質な結果を達成できることが実証されました。プロジェクトページ: https://chchnii.github.io/GaussianSR/

English

Achieving high-resolution novel view synthesis (HRNVS) from low-resolution input views is a challenging task due to the lack of high-resolution data. Previous methods optimize high-resolution Neural Radiance Field (NeRF) from low-resolution input views but suffer from slow rendering speed. In this work, we base our method on 3D Gaussian Splatting (3DGS) due to its capability of producing high-quality images at a faster rendering speed. To alleviate the shortage of data for higher-resolution synthesis, we propose to leverage off-the-shelf 2D diffusion priors by distilling the 2D knowledge into 3D with Score Distillation Sampling (SDS). Nevertheless, applying SDS directly to Gaussian-based 3D super-resolution leads to undesirable and redundant 3D Gaussian primitives, due to the randomness brought by generative priors. To mitigate this issue, we introduce two simple yet effective techniques to reduce stochastic disturbances introduced by SDS. Specifically, we 1) shrink the range of diffusion timestep in SDS with an annealing strategy; 2) randomly discard redundant Gaussian primitives during densification. Extensive experiments have demonstrated that our proposed GaussainSR can attain high-quality results for HRNVS with only low-resolution inputs on both synthetic and real-world datasets. Project page: https://chchnii.github.io/GaussianSR/