Mono4DGS-HDR: Hoog Dynamisch Bereik 4D Gaussische Splatting vanuit Monoculaire Video's met Afwisselende Belichting
Mono4DGS-HDR: High Dynamic Range 4D Gaussian Splatting from Alternating-exposure Monocular Videos
October 21, 2025
Auteurs: Jinfeng Liu, Lingtong Kong, Mi Zhou, Jinwen Chen, Dan Xu
cs.AI
Samenvatting
We introduceren Mono4DGS-HDR, het eerste systeem voor het reconstrueren van renderbare 4D high dynamic range (HDR)-scènes uit ongeposeerde monoscopische low dynamic range (LDR)-video's die zijn vastgelegd met afwisselende belichtingstijden. Om een dergelijk uitdagend probleem aan te pakken, presenteren we een geïntegreerd raamwerk met een tweestaps optimalisatiebenadering gebaseerd op Gaussian Splatting. De eerste fase leert een HDR Gaussiaanse representatie van de video in orthografische cameracoördinatenruimte, waardoor cameraposes overbodig worden en een robuuste initiële HDR-videoreconstructie mogelijk wordt. De tweede fase transformeert de video-Gaussians naar de wereldruimte en verfijnt gezamenlijk de wereld-Gaussians met cameraposes. Bovendien stellen we een strategie voor tijdelijke luminantie-regularisatie voor om de temporele consistentie van het HDR-uiterlijk te verbeteren. Aangezien onze taak nog niet eerder is bestudeerd, hebben we een nieuwe evaluatiebenchmark geconstrueerd met behulp van openbaar beschikbare datasets voor HDR-videoreconstructie. Uitgebreide experimenten tonen aan dat Mono4DGS-HDR aanzienlijk beter presteert dan alternatieve oplossingen die zijn aangepast vanuit state-of-the-art methoden, zowel in renderkwaliteit als snelheid.
English
We introduce Mono4DGS-HDR, the first system for reconstructing renderable 4D
high dynamic range (HDR) scenes from unposed monocular low dynamic range (LDR)
videos captured with alternating exposures. To tackle such a challenging
problem, we present a unified framework with two-stage optimization approach
based on Gaussian Splatting. The first stage learns a video HDR Gaussian
representation in orthographic camera coordinate space, eliminating the need
for camera poses and enabling robust initial HDR video reconstruction. The
second stage transforms video Gaussians into world space and jointly refines
the world Gaussians with camera poses. Furthermore, we propose a temporal
luminance regularization strategy to enhance the temporal consistency of the
HDR appearance. Since our task has not been studied before, we construct a new
evaluation benchmark using publicly available datasets for HDR video
reconstruction. Extensive experiments demonstrate that Mono4DGS-HDR
significantly outperforms alternative solutions adapted from state-of-the-art
methods in both rendering quality and speed.