HDR-GS : Synthèse efficace de nouvelles vues en haute dynamique avec une accélération 1000x via le splatting gaussien

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

Auteurs: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

Résumé

La synthèse de nouvelles vues à haute plage dynamique (High Dynamic Range - HDR) vise à créer des images photoréalistes à partir de points de vue inédits en utilisant des techniques d'imagerie HDR. Les images HDR générées capturent une plage de luminosité plus étendue, contenant davantage de détails de la scène par rapport aux images à plage dynamique standard (Low Dynamic Range - LDR). Les méthodes existantes de synthèse de vues HDR reposent principalement sur NeRF, mais elles souffrent d'un temps d'entraînement long et d'une vitesse d'inférence lente. Dans cet article, nous proposons un nouveau cadre, High Dynamic Range Gaussian Splatting (HDR-GS), capable de générer efficacement de nouvelles vues HDR et de reconstruire des images LDR avec un temps d'exposition défini par l'utilisateur. Plus précisément, nous concevons un modèle de nuage de points gaussiens à double plage dynamique (Dual Dynamic Range - DDR) qui utilise les harmoniques sphériques pour ajuster la couleur HDR et emploie un mappeur de tonalité basé sur un MLP pour restituer la couleur LDR. Les couleurs HDR et LDR sont ensuite traitées par deux processus de rastérisation différentiable parallèles (Parallel Differentiable Rasterization - PDR) pour reconstruire les vues HDR et LDR. Pour établir les bases de données nécessaires à la recherche sur les méthodes basées sur le splatting gaussien 3D dans la synthèse de vues HDR, nous recalibrons les paramètres de la caméra et calculons les positions initiales des nuages de points gaussiens. Les expériences montrent que notre HDR-GS surpasse la méthode NeRF de pointe de 3,84 dB et 1,91 dB respectivement pour les synthèses de vues LDR et HDR, tout en bénéficiant d'une vitesse d'inférence 1000 fois supérieure et en nécessitant seulement 6,3 % du temps d'entraînement.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.