Mono4DGS-HDR: Splatting de Gaussianas 4D de Alto Intervalo Dinâmico a partir de Vídeos Monoculares com Exposição Alternada

Mono4DGS-HDR: High Dynamic Range 4D Gaussian Splatting from Alternating-exposure Monocular Videos

October 21, 2025

Autores: Jinfeng Liu, Lingtong Kong, Mi Zhou, Jinwen Chen, Dan Xu

cs.AI

Resumo

Apresentamos o Mono4DGS-HDR, o primeiro sistema para reconstruir cenas 4D de alta faixa dinâmica (HDR) renderizáveis a partir de vídeos monoculares de baixa faixa dinâmica (LDR) capturados com exposições alternadas e sem pose conhecida. Para abordar um problema tão desafiador, propomos um framework unificado com uma abordagem de otimização em duas etapas baseada em Gaussian Splatting. A primeira etapa aprende uma representação HDR do vídeo em espaço de coordenadas de câmera ortográfica, eliminando a necessidade de poses da câmera e permitindo uma reconstrução inicial robusta do vídeo HDR. A segunda etapa transforma os Gaussianos do vídeo para o espaço mundial e refina conjuntamente os Gaussianos mundiais com as poses da câmera. Além disso, propomos uma estratégia de regularização temporal de luminância para melhorar a consistência temporal da aparência HDR. Como essa tarefa não foi estudada anteriormente, construímos um novo benchmark de avaliação utilizando conjuntos de dados publicamente disponíveis para reconstrução de vídeo HDR. Experimentos extensivos demonstram que o Mono4DGS-HDR supera significativamente soluções alternativas adaptadas de métodos state-of-the-art tanto em qualidade de renderização quanto em velocidade.

English

We introduce Mono4DGS-HDR, the first system for reconstructing renderable 4D high dynamic range (HDR) scenes from unposed monocular low dynamic range (LDR) videos captured with alternating exposures. To tackle such a challenging problem, we present a unified framework with two-stage optimization approach based on Gaussian Splatting. The first stage learns a video HDR Gaussian representation in orthographic camera coordinate space, eliminating the need for camera poses and enabling robust initial HDR video reconstruction. The second stage transforms video Gaussians into world space and jointly refines the world Gaussians with camera poses. Furthermore, we propose a temporal luminance regularization strategy to enhance the temporal consistency of the HDR appearance. Since our task has not been studied before, we construct a new evaluation benchmark using publicly available datasets for HDR video reconstruction. Extensive experiments demonstrate that Mono4DGS-HDR significantly outperforms alternative solutions adapted from state-of-the-art methods in both rendering quality and speed.