HDR-GS: ガウススプラッティングによる1000倍高速化を実現した高ダイナミックレンジ新視点合成

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

著者: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

要旨

高ダイナミックレンジ（HDR）新視点合成（NVS）は、HDR撮影技術を用いて新たな視点から写実的な画像を生成することを目的としている。レンダリングされたHDR画像は、通常の低ダイナミックレンジ（LDR）画像よりも広い輝度範囲を捉え、シーンの詳細をより多く含んでいる。既存のHDR NVS手法は主にNeRFに基づいており、長時間のトレーニングと低速の推論速度が課題となっている。本論文では、新たなフレームワークであるHigh Dynamic Range Gaussian Splatting（HDR-GS）を提案し、効率的に新たなHDRビューをレンダリングし、ユーザーが指定した露出時間でLDR画像を再構築する。具体的には、球面調和関数を用いてHDR色をフィットし、MLPベースのトーンマッパーを使用してLDR色をレンダリングするDual Dynamic Range（DDR）ガウス点群モデルを設計する。HDRとLDRの色は、2つの並列微分可能ラスタライゼーション（PDR）プロセスに供給され、HDRとLDRビューを再構築する。HDR NVSにおける3Dガウススプラッティングベース手法の研究のためのデータ基盤を確立するため、カメラパラメータを再調整し、ガウス点群の初期位置を計算する。実験結果は、HDR-GSがLDRおよびHDR NVSにおいて、最先端のNeRFベース手法をそれぞれ3.84 dBおよび1.91 dB上回り、1000倍の推論速度を享受し、トレーニング時間の6.3%のみを必要とすることを示している。

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.