Mono4DGS-HDR: 교대 노출 단안 비디오 기반 고다이내믹 레인지 4D 가우시안 스플래팅

초록

우리는 교번 노출로 촬영된 단안(monocular) 저다이나믹 레인지(LDR) 비디오에서 렌더링 가능한 4차원 고다이나믹 레인지(HDR) 장면을 복원하는 최초의 시스템인 Mono4DGS-HDR을 소개합니다. 이러한 도전적인 문제를 해결하기 위해, 우리는 가우시안 스플래팅(Gaussian Splatting) 기반의 2단계 최적화 접근법을 통합한 프레임워크를 제안합니다. 첫 번째 단계에서는 정사영 카메라 좌표 공간에서 비디오 HDR 가우시안 표현을 학습함으로써 카메라 포즈가 필요 없이 견고한 초기 HDR 비디오 복원을 가능하게 합니다. 두 번째 단계에서는 비디오 가우시안을 월드 공간으로 변환하고, 월드 가우시안과 카메라 포즈를 함께 정제합니다. 또한, HDR 외관의 시간적 일관성을 향상시키기 위해 시간적 휘도 정규화 전략을 제안합니다. 우리의 작업은 이전에 연구된 바가 없기 때문에, 공개적으로 사용 가능한 데이터셋을 활용하여 HDR 비디오 복원을 위한 새로운 평가 벤치마크를 구축했습니다. 광범위한 실험을 통해 Mono4DGS-HDR이 최신 방법들을 적용한 대안적 솔루션들보다 렌더링 품질과 속도 모두에서 크게 우수함을 입증했습니다.

English

We introduce Mono4DGS-HDR, the first system for reconstructing renderable 4D high dynamic range (HDR) scenes from unposed monocular low dynamic range (LDR) videos captured with alternating exposures. To tackle such a challenging problem, we present a unified framework with two-stage optimization approach based on Gaussian Splatting. The first stage learns a video HDR Gaussian representation in orthographic camera coordinate space, eliminating the need for camera poses and enabling robust initial HDR video reconstruction. The second stage transforms video Gaussians into world space and jointly refines the world Gaussians with camera poses. Furthermore, we propose a temporal luminance regularization strategy to enhance the temporal consistency of the HDR appearance. Since our task has not been studied before, we construct a new evaluation benchmark using publicly available datasets for HDR video reconstruction. Extensive experiments demonstrate that Mono4DGS-HDR significantly outperforms alternative solutions adapted from state-of-the-art methods in both rendering quality and speed.

Mono4DGS-HDR: 교대 노출 단안 비디오 기반 고다이내믹 레인지 4D 가우시안 스플래팅

Mono4DGS-HDR: High Dynamic Range 4D Gaussian Splatting from Alternating-exposure Monocular Videos

초록

Support