HDR-GS: 가우시안 스플래팅을 통한 1000배 빠른 고효율 고다이내믹 레인지 신규 시점 합성

HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

May 24, 2024

저자: Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille

cs.AI

초록

고동적범위(High Dynamic Range, HDR) 신시점 합성(Novel View Synthesis, NVS)은 HDR 이미징 기술을 사용하여 새로운 시점에서 포토리얼리스틱한 이미지를 생성하는 것을 목표로 합니다. 렌더링된 HDR 이미지는 일반적인 저동적범위(Low Dynamic Range, LDR) 이미지보다 더 넓은 밝기 범위를 포착하여 장면의 더 많은 세부 정보를 담아냅니다. 기존의 HDR NVS 방법은 주로 NeRF(Neural Radiance Fields)에 기반을 두고 있으며, 긴 학습 시간과 느린 추론 속도라는 문제점을 가지고 있습니다. 본 논문에서는 새로운 프레임워크인 High Dynamic Range Gaussian Splatting(HDR-GS)을 제안합니다. 이 프레임워크는 새로운 HDR 시점을 효율적으로 렌더링하고 사용자가 입력한 노출 시간에 따라 LDR 이미지를 재구성할 수 있습니다. 구체적으로, 우리는 HDR 색상을 맞추기 위해 구면 조화 함수(spherical harmonics)를 사용하고 LDR 색상을 렌더링하기 위해 MLP(Multi-Layer Perceptron) 기반의 톤 매퍼를 활용하는 이중 동적 범위(Dual Dynamic Range, DDR) 가우시안 포인트 클라우드 모델을 설계했습니다. HDR과 LDR 색상은 두 개의 병렬 미분 가능 래스터화(Parallel Differentiable Rasterization, PDR) 프로세스에 입력되어 HDR과 LDR 시점을 재구성합니다. HDR NVS에서 3D 가우시안 스플래팅 기반 방법의 연구를 위한 데이터 기반을 마련하기 위해, 우리는 카메라 매개변수를 재조정하고 가우시안 포인트 클라우드의 초기 위치를 계산했습니다. 실험 결과, 우리의 HDR-GS는 LDR과 HDR NVS에서 최신 NeRF 기반 방법을 각각 3.84dB와 1.91dB 능가하며, 1000배 빠른 추론 속도와 단 6.3%의 학습 시간만을 필요로 하는 것으로 나타났습니다.

English

High dynamic range (HDR) novel view synthesis (NVS) aims to create photorealistic images from novel viewpoints using HDR imaging techniques. The rendered HDR images capture a wider range of brightness levels containing more details of the scene than normal low dynamic range (LDR) images. Existing HDR NVS methods are mainly based on NeRF. They suffer from long training time and slow inference speed. In this paper, we propose a new framework, High Dynamic Range Gaussian Splatting (HDR-GS), which can efficiently render novel HDR views and reconstruct LDR images with a user input exposure time. Specifically, we design a Dual Dynamic Range (DDR) Gaussian point cloud model that uses spherical harmonics to fit HDR color and employs an MLP-based tone-mapper to render LDR color. The HDR and LDR colors are then fed into two Parallel Differentiable Rasterization (PDR) processes to reconstruct HDR and LDR views. To establish the data foundation for the research of 3D Gaussian splatting-based methods in HDR NVS, we recalibrate the camera parameters and compute the initial positions for Gaussian point clouds. Experiments demonstrate that our HDR-GS surpasses the state-of-the-art NeRF-based method by 3.84 and 1.91 dB on LDR and HDR NVS while enjoying 1000x inference speed and only requiring 6.3% training time.