HDR-GS: Síntese Eficiente de Novas Visões em Alto Intervalo Dinâmico com Velocidade 1000x via Espalhamento Gaussiano

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

Autores: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

Resumo

A síntese de novas vistas (NVS) de alta faixa dinâmica (HDR) visa criar imagens fotorrealistas a partir de novos pontos de vista utilizando técnicas de imagem HDR. As imagens HDR renderizadas capturam uma faixa mais ampla de níveis de brilho, contendo mais detalhes da cena do que as imagens normais de baixa faixa dinâmica (LDR). Os métodos existentes de NVS HDR são baseados principalmente em NeRF. Eles sofrem com tempos de treinamento longos e velocidade de inferência lenta. Neste artigo, propomos um novo framework, High Dynamic Range Gaussian Splatting (HDR-GS), que pode renderizar eficientemente novas vistas HDR e reconstruir imagens LDR com um tempo de exposição fornecido pelo usuário. Especificamente, projetamos um modelo de nuvem de pontos Gaussianos de Dupla Faixa Dinâmica (DDR) que utiliza harmônicos esféricos para ajustar a cor HDR e emprega um mapeador de tons baseado em MLP para renderizar a cor LDR. As cores HDR e LDR são então alimentadas em dois processos de Rasterização Diferenciável Paralela (PDR) para reconstruir as vistas HDR e LDR. Para estabelecer a base de dados para a pesquisa de métodos baseados em splatting de Gaussianos 3D em NVS HDR, recalibramos os parâmetros da câmera e calculamos as posições iniciais para as nuvens de pontos Gaussianos. Experimentos demonstram que nosso HDR-GS supera o método baseado em NeRF de última geração em 3,84 e 1,91 dB em NVS LDR e HDR, respectivamente, enquanto desfruta de uma velocidade de inferência 1000 vezes maior e requer apenas 6,3% do tempo de treinamento.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.