HDR-GS: Effiziente High Dynamic Range Novel View Synthese mit 1000-facher Geschwindigkeit durch Gaussisches Splatting

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

Autoren: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

Zusammenfassung

Die High Dynamic Range (HDR) Novel View Synthesis (NVS) zielt darauf ab, fotorealistische Bilder aus neuen Blickwinkeln mithilfe von HDR-Bildgebungstechniken zu erstellen. Die gerenderten HDR-Bilder erfassen einen breiteren Helligkeitsbereich und enthalten mehr Details der Szene als normale Low Dynamic Range (LDR) Bilder. Bestehende HDR-NVS-Methoden basieren hauptsächlich auf NeRF. Sie leiden unter langen Trainingszeiten und langsamen Inferenzgeschwindigkeiten. In diesem Paper schlagen wir ein neues Framework, High Dynamic Range Gaussian Splatting (HDR-GS), vor, das neuartige HDR-Ansichten effizient rendern kann und LDR-Bilder mit einer Benutzereingabe zur Belichtungszeit rekonstruiert. Speziell entwerfen wir ein Dual Dynamic Range (DDR) Gauss'sches Punktwolkenmodell, das sphärische Harmonien zur Anpassung von HDR-Farben verwendet und einen MLP-basierten Tone-Mapper zur Darstellung von LDR-Farben einsetzt. Die HDR- und LDR-Farben werden dann in zwei parallele differentiell rasterisierbare Prozesse eingespeist, um HDR- und LDR-Ansichten zu rekonstruieren. Um die Datenbasis für die Erforschung von 3D-Gauss'schen Splatting-basierten Methoden in HDR-NVS zu schaffen, kalibrieren wir die Kameraparameter neu und berechnen die Anfangspositionen für Gauss'sche Punktwolken. Experimente zeigen, dass unser HDR-GS die state-of-the-art NeRF-basierte Methode um 3,84 bzw. 1,91 dB bei LDR- und HDR-NVS übertrifft, während es eine Inferenzgeschwindigkeit von 1000x bietet und nur 6,3% der Trainingszeit benötigt.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.