HDR-videogeneratie via latente uitlijning met logaritmische codering
HDR Video Generation via Latent Alignment with Logarithmic Encoding
April 13, 2026
Auteurs: Naomi Ken Korem, Mohamed Oumoumad, Harel Cain, Matan Ben Yosef, Urska Jelercic, Ofir Bibi, Yaron Inger, Or Patashnik, Daniel Cohen-Or
cs.AI
Samenvatting
Beelden met een hoog dynamisch bereik (HDR) bieden een rijke en getrouwe weergave van de radiantie in een scène, maar blijven een uitdaging voor generatieve modellen vanwege de mismatch met de begrensde, perceptueel gecomprimeerde data waarop deze modellen zijn getraind. Een natuurlijke oplossing is het aanleren van nieuwe representaties voor HDR, wat extra complexiteit en datavereisten met zich meebrengt. In dit werk tonen we aan dat HDR-generatie op een veel eenvoudigere manier kan worden bereikt door gebruik te maken van de sterke visuele voorkennis die reeds is vastgelegd door voorgetrainde generatieve modellen. Wij observeren dat een logaritmische codering, die veelvuldig wordt gebruikt in cinematische pipelines, HDR-beelden afbeeldt op een distributie die van nature is afgestemd op de latente ruimte van deze modellen. Dit maakt directe adaptatie mogelijk via lichtgewicht fine-tuning zonder een encoder opnieuw te trainen. Om details die niet direct waarneembaar zijn in de input te herstellen, introduceren we verder een trainstrategie gebaseerd op camera-nabootsendde degradaties, die het model aanmoedigt om ontbrekende HDR-inhoud af te leiden uit zijn aangeleerde voorkennis. Door deze inzichten te combineren, demonstreren we hoogwaardige HDR-videogeneratie met een voorgetraind videomodel met minimale aanpassing, waarbij sterke resultaten worden behaald in uiteenlopende scènes en uitdagende belichtingsomstandigheden. Onze resultaten geven aan dat HDR, ondanks het vertegenwoordigen van een fundamenteel ander beeldvormingsregime, effectief kan worden verwerkt zonder generatieve modellen te herontwerpen, mits de representatie wordt gekozen om aan te sluiten bij hun aangeleerde voorkennis.
English
High dynamic range (HDR) imagery offers a rich and faithful representation of scene radiance, but remains challenging for generative models due to its mismatch with the bounded, perceptually compressed data on which these models are trained. A natural solution is to learn new representations for HDR, which introduces additional complexity and data requirements. In this work, we show that HDR generation can be achieved in a much simpler way by leveraging the strong visual priors already captured by pretrained generative models. We observe that a logarithmic encoding widely used in cinematic pipelines maps HDR imagery into a distribution that is naturally aligned with the latent space of these models, enabling direct adaptation via lightweight fine-tuning without retraining an encoder. To recover details that are not directly observable in the input, we further introduce a training strategy based on camera-mimicking degradations that encourages the model to infer missing high dynamic range content from its learned priors. Combining these insights, we demonstrate high-quality HDR video generation using a pretrained video model with minimal adaptation, achieving strong results across diverse scenes and challenging lighting conditions. Our results indicate that HDR, despite representing a fundamentally different image formation regime, can be handled effectively without redesigning generative models, provided that the representation is chosen to align with their learned priors.