HDR-GS: Sintesi Efficiente di Nuove Visualizzazioni in Alto Intervallo Dinamico con Velocità 1000x tramite Gaussian Splatting

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

Autori: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

Abstract

La sintesi di nuove viste (NVS) ad alto intervallo dinamico (HDR) mira a creare immagini fotorealistiche da nuovi punti di vista utilizzando tecniche di imaging HDR. Le immagini HDR renderizzate catturano una gamma più ampia di livelli di luminosità, contenendo più dettagli della scena rispetto alle normali immagini a basso intervallo dinamico (LDR). I metodi esistenti per la NVS HDR si basano principalmente su NeRF, ma soffrono di lunghi tempi di addestramento e di una velocità di inferenza lenta. In questo articolo, proponiamo un nuovo framework, High Dynamic Range Gaussian Splatting (HDR-GS), che può renderizzare efficientemente nuove viste HDR e ricostruire immagini LDR con un tempo di esposizione inserito dall'utente. Nello specifico, progettiamo un modello di nuvola di punti Gaussiana a Doppio Intervallo Dinamico (DDR) che utilizza armoniche sferiche per adattare il colore HDR e impiega un tone-mapper basato su MLP per renderizzare il colore LDR. I colori HDR e LDR vengono quindi inseriti in due processi di Rasterizzazione Differenziabile Parallela (PDR) per ricostruire le viste HDR e LDR. Per stabilire la base dati per la ricerca sui metodi basati su splatting Gaussiano 3D nella NVS HDR, ricalibriamo i parametri della fotocamera e calcoliamo le posizioni iniziali per le nuvole di punti Gaussiane. Gli esperimenti dimostrano che il nostro HDR-GS supera il metodo basato su NeRF all'avanguardia di 3,84 e 1,91 dB rispettivamente su NVS LDR e HDR, godendo di una velocità di inferenza 1000 volte maggiore e richiedendo solo il 6,3% del tempo di addestramento.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.