HDR-Videogenerierung durch latente Ausrichtung mit logarithmischer Kodierung
HDR Video Generation via Latent Alignment with Logarithmic Encoding
April 13, 2026
Autoren: Naomi Ken Korem, Mohamed Oumoumad, Harel Cain, Matan Ben Yosef, Urska Jelercic, Ofir Bibi, Yaron Inger, Or Patashnik, Daniel Cohen-Or
cs.AI
Zusammenfassung
Hochdynamische (HDR) Bildgebung bietet eine reichhaltige und originalgetreue Darstellung der Szennenstrahldichte, stellt jedoch aufgrund ihrer Diskrepanz zu den begrenzten, wahrnehmungskomprimierten Daten, mit denen generative Modelle trainiert werden, nach wie vor eine Herausforderung für diese Modelle dar. Eine naheliegende Lösung ist das Erlernen neuer Repräsentationen für HDR, was zusätzliche Komplexität und Datenanforderungen mit sich bringt. In dieser Arbeit zeigen wir, dass HDR-Generierung auf viel einfachere Weise erreicht werden kann, indem die starken visuellen Priors genutzt werden, die bereits von vortrainierten generativen Modellen erfasst wurden. Wir beobachten, dass eine logarithmische Kodierung, die in filmischen Bearbeitungspipelines weit verbreitet ist, HDR-Bildmaterial in eine Verteilung abbildet, die natürlich mit dem latenten Raum dieser Modelle übereinstimmt. Dies ermöglicht eine direkte Anpassung durch leichtgewichtiges Fine-Tuning, ohne einen Encoder neu trainieren zu müssen. Um Details wiederherzustellen, die in der Eingabe nicht direkt beobachtbar sind, führen wir weiterhin eine Trainingsstrategie ein, die auf kameraähnlichen Degradationen basiert. Diese ermutigt das Modell, fehlende HDR-Inhalte aus seinen gelernten Priors abzuleiten. Durch die Kombination dieser Erkenntnisse demonstrieren wir die Erzeugung hochwertiger HDR-Videos mit einem vortrainierten Videomodell und minimaler Anpassung, wobei wir robuste Ergebnisse in verschiedenen Szenen und anspruchsvollen Lichtverhältnissen erzielen. Unsere Ergebnisse deuten darauf hin, dass HDR, obwohl es ein grundlegend anderes Bildgebungsregime darstellt, effektiv bewältigt werden kann, ohne generative Modelle neu zu entwerfen, sofern die Repräsentation so gewählt wird, dass sie mit ihren gelernten Priors übereinstimmt.
English
High dynamic range (HDR) imagery offers a rich and faithful representation of scene radiance, but remains challenging for generative models due to its mismatch with the bounded, perceptually compressed data on which these models are trained. A natural solution is to learn new representations for HDR, which introduces additional complexity and data requirements. In this work, we show that HDR generation can be achieved in a much simpler way by leveraging the strong visual priors already captured by pretrained generative models. We observe that a logarithmic encoding widely used in cinematic pipelines maps HDR imagery into a distribution that is naturally aligned with the latent space of these models, enabling direct adaptation via lightweight fine-tuning without retraining an encoder. To recover details that are not directly observable in the input, we further introduce a training strategy based on camera-mimicking degradations that encourages the model to infer missing high dynamic range content from its learned priors. Combining these insights, we demonstrate high-quality HDR video generation using a pretrained video model with minimal adaptation, achieving strong results across diverse scenes and challenging lighting conditions. Our results indicate that HDR, despite representing a fundamentally different image formation regime, can be handled effectively without redesigning generative models, provided that the representation is chosen to align with their learned priors.