HDR-GS: Эффективный синтез нового вида с высоким динамическим диапазоном со скоростью 1000 раз выше с использованием гауссовского сплетения

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

Авторы: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

Аннотация

Синтез нового вида с высоким динамическим диапазоном (HDR) направлен на создание фотореалистичных изображений с новых точек зрения с использованием техник HDR-изображений. Полученные изображения HDR захватывают более широкий диапазон уровней яркости, содержащий больше деталей сцены, чем обычные изображения с низким динамическим диапазоном (LDR). Существующие методы HDR синтеза нового вида в основном основаны на NeRF. Они страдают от длительного времени обучения и медленной скорости вывода. В данной статье мы предлагаем новую структуру, высокодинамическое гауссовское распыление (HDR-GS), которая может эффективно воссоздавать новые HDR виды и восстанавливать изображения LDR с учетом времени экспозиции пользователя. Конкретно, мы разрабатываем модель двойного динамического диапазона (DDR) гауссовских облаков точек, использующую сферические гармоники для соответствия цвета HDR и применяющую тоновый сопоставитель на основе MLP для воссоздания цвета LDR. Затем цвета HDR и LDR подаются на два параллельных дифференцируемых процесса растеризации (PDR) для восстановления HDR и LDR видов. Для установления базы данных для исследований методов синтеза нового вида на основе гауссовского распыления в HDR, мы перекалибруем параметры камеры и вычисляем начальные позиции для гауссовских облаков точек. Эксперименты показывают, что наш HDR-GS превосходит современный метод на основе NeRF на 3,84 и 1,91 дБ в LDR и HDR синтезе нового вида, обладая скоростью вывода в 1000 раз выше и требуя всего 6,3% времени обучения.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.