Генерация HDR-видео через латентное выравнивание с логарифмическим кодированием

HDR Video Generation via Latent Alignment with Logarithmic Encoding

April 13, 2026

Авторы: Naomi Ken Korem, Mohamed Oumoumad, Harel Cain, Matan Ben Yosef, Urska Jelercic, Ofir Bibi, Yaron Inger, Or Patashnik, Daniel Cohen-Or

cs.AI

Аннотация

Изображения с высоким динамическим диапазоном (HDR) обеспечивают богатое и точное представление о яркости сцены, однако их генерация остается сложной задачей для генеративных моделей из-за несоответствия между HDR-данными и ограниченными, перцептивно сжатыми данными, на которых эти модели обучаются. Естественным решением является изучение новых представлений для HDR, что влечет за собой дополнительную сложность и потребность в данных. В данной работе мы показываем, что генерацию HDR можно реализовать гораздо проще, используя сильные визуальные априорные знания, уже усвоенные предварительно обученными генеративными моделями. Мы наблюдаем, что логарифмическое кодирование, широко используемое в кинематографических конвейерах, отображает HDR-изображения в распределение, которое естественным образом согласуется с латентным пространством этих моделей, что позволяет проводить прямую адаптацию с помощью легкой тонкой настройки без переобучения энкодера. Для восстановления деталей, которые не наблюдаются напрямую во входных данных, мы дополнительно вводим стратегию обучения, основанную на имитации деградации камеры, которая побуждает модель восстанавливать недостающее содержимое с высоким динамическим диапазоном на основе своих априорных знаний. Объединив эти идеи, мы демонстрируем генерацию высококачественного HDR-видео с использованием предварительно обученной видео-модели с минимальной адаптацией, достигая убедительных результатов в разнообразных сценах и сложных условиях освещения. Наши результаты показывают, что HDR, несмотря на принципиально иной режим формирования изображения, может эффективно обрабатываться без перепроектирования генеративных моделей при условии, что представление данных выбрано так, чтобы согласовываться с их усвоенными априорными знаниями.

English

High dynamic range (HDR) imagery offers a rich and faithful representation of scene radiance, but remains challenging for generative models due to its mismatch with the bounded, perceptually compressed data on which these models are trained. A natural solution is to learn new representations for HDR, which introduces additional complexity and data requirements. In this work, we show that HDR generation can be achieved in a much simpler way by leveraging the strong visual priors already captured by pretrained generative models. We observe that a logarithmic encoding widely used in cinematic pipelines maps HDR imagery into a distribution that is naturally aligned with the latent space of these models, enabling direct adaptation via lightweight fine-tuning without retraining an encoder. To recover details that are not directly observable in the input, we further introduce a training strategy based on camera-mimicking degradations that encourages the model to infer missing high dynamic range content from its learned priors. Combining these insights, we demonstrate high-quality HDR video generation using a pretrained video model with minimal adaptation, achieving strong results across diverse scenes and challenging lighting conditions. Our results indicate that HDR, despite representing a fundamentally different image formation regime, can be handled effectively without redesigning generative models, provided that the representation is chosen to align with their learned priors.