HDR-GS: Efficiënte Synthese van Nieuwe Beelden met Hoog Dynamisch Bereik met 1000x Snelheid via Gaussische Splatting

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

Auteurs: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

Samenvatting

High dynamic range (HDR) novel view synthesis (NVS) heeft als doel fotorealistische beelden te creëren vanuit nieuwe gezichtspunten met behulp van HDR-beeldtechnieken. De gerenderde HDR-beelden vangen een breder bereik van helderheidsniveaus op en bevatten meer details van de scène dan normale low dynamic range (LDR)-beelden. Bestaande HDR NVS-methoden zijn voornamelijk gebaseerd op NeRF. Deze hebben last van lange trainingstijden en trage inferentiesnelheden. In dit artikel stellen we een nieuw framework voor, High Dynamic Range Gaussian Splatting (HDR-GS), dat efficiënt nieuwe HDR-beelden kan renderen en LDR-beelden kan reconstrueren met een door de gebruiker ingevoerde belichtingstijd. Specifiek ontwerpen we een Dual Dynamic Range (DDR) Gaussian point cloud-model dat sferische harmonischen gebruikt om HDR-kleuren te benaderen en een MLP-gebaseerde tone-mapper inzet om LDR-kleuren te renderen. De HDR- en LDR-kleuren worden vervolgens ingevoerd in twee Parallelle Differentieerbare Rasterisatie (PDR)-processen om HDR- en LDR-beelden te reconstrueren. Om de datafundering te leggen voor het onderzoek naar 3D Gaussian splatting-gebaseerde methoden in HDR NVS, kalibreren we de cameraparameters opnieuw en berekenen we de initiële posities voor Gaussian point clouds. Experimenten tonen aan dat onze HDR-GS de state-of-the-art NeRF-gebaseerde methode overtreft met 3,84 en 1,91 dB op LDR- en HDR NVS, terwijl het een 1000x snellere inferentiesnelheid biedt en slechts 6,3% van de trainingstijd vereist.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.