Mono4DGS-HDR: Восстановление сцены с расширенным динамическим диапазоном методом 4D гауссовых сплатов на основе монохромных видео с чередующейся экспозицией

Mono4DGS-HDR: High Dynamic Range 4D Gaussian Splatting from Alternating-exposure Monocular Videos

October 21, 2025

Авторы: Jinfeng Liu, Lingtong Kong, Mi Zhou, Jinwen Chen, Dan Xu

cs.AI

Аннотация

Мы представляем Mono4DGS-HDR — первую систему для восстановления визуализируемых 4D-сцен с высоким динамическим диапазоном (HDR) из неориентированных монохромных видео с низким динамическим диапазоном (LDR), снятых с чередующейся экспозицией. Для решения этой сложной задачи мы предлагаем унифицированную структуру с двухэтапным подходом оптимизации, основанным на методе Gaussian Splatting. На первом этапе изучается HDR-представление видео в виде гауссовых функций в ортогональной системе координат камеры, что устраняет необходимость в данных о положении камеры и обеспечивает надежное начальное восстановление HDR-видео. На втором этапе гауссовы функции видео преобразуются в мировое пространство, и совместно уточняются мировые гауссовы функции вместе с параметрами камеры. Кроме того, мы предлагаем стратегию временной регуляризации яркости для улучшения временной согласованности HDR-визуализации. Поскольку данная задача ранее не изучалась, мы создаем новый эталонный набор для оценки, используя общедоступные наборы данных для восстановления HDR-видео. Многочисленные эксперименты показывают, что Mono4DGS-HDR значительно превосходит альтернативные решения, адаптированные из современных методов, как по качеству визуализации, так и по скорости.

English

We introduce Mono4DGS-HDR, the first system for reconstructing renderable 4D high dynamic range (HDR) scenes from unposed monocular low dynamic range (LDR) videos captured with alternating exposures. To tackle such a challenging problem, we present a unified framework with two-stage optimization approach based on Gaussian Splatting. The first stage learns a video HDR Gaussian representation in orthographic camera coordinate space, eliminating the need for camera poses and enabling robust initial HDR video reconstruction. The second stage transforms video Gaussians into world space and jointly refines the world Gaussians with camera poses. Furthermore, we propose a temporal luminance regularization strategy to enhance the temporal consistency of the HDR appearance. Since our task has not been studied before, we construct a new evaluation benchmark using publicly available datasets for HDR video reconstruction. Extensive experiments demonstrate that Mono4DGS-HDR significantly outperforms alternative solutions adapted from state-of-the-art methods in both rendering quality and speed.