HDR-GS: Síntesis Eficiente de Nuevas Vistas en Alto Rango Dinámico a una Velocidad 1000x mediante Proyección Gaussiana

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

Autores: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

Resumen

La síntesis de vistas novedosas de alto rango dinámico (HDR NVS, por sus siglas en inglés) tiene como objetivo crear imágenes fotorrealistas desde perspectivas novedosas utilizando técnicas de imagen HDR. Las imágenes HDR renderizadas capturan un rango más amplio de niveles de brillo, conteniendo más detalles de la escena en comparación con las imágenes de bajo rango dinámico (LDR). Los métodos existentes de HDR NVS se basan principalmente en NeRF, pero sufren de tiempos de entrenamiento prolongados y velocidades de inferencia lentas. En este artículo, proponemos un nuevo marco de trabajo, High Dynamic Range Gaussian Splatting (HDR-GS), que puede renderizar eficientemente vistas HDR novedosas y reconstruir imágenes LDR con un tiempo de exposición proporcionado por el usuario. Específicamente, diseñamos un modelo de nube de puntos Gaussianos de Doble Rango Dinámico (DDR) que utiliza armónicos esféricos para ajustar el color HDR y emplea un mapeador de tonos basado en MLP para renderizar el color LDR. Los colores HDR y LDR se alimentan luego en dos procesos de Rasterización Diferenciable Paralela (PDR) para reconstruir las vistas HDR y LDR. Para establecer la base de datos necesaria para la investigación de métodos basados en splatting de Gaussianos 3D en HDR NVS, recalibramos los parámetros de la cámara y calculamos las posiciones iniciales para las nubes de puntos Gaussianos. Los experimentos demuestran que nuestro HDR-GS supera al método basado en NeRF más avanzado en 3.84 y 1.91 dB en LDR y HDR NVS, respectivamente, mientras disfruta de una velocidad de inferencia 1000 veces mayor y requiere solo el 6.3% del tiempo de entrenamiento.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.