Génération de vidéo HDR par alignement latent avec codage logarithmique

Résumé

L'imagerie à grande plage dynamique (HDR) offre une représentation riche et fidèle de la radiance d'une scène, mais reste difficile à modéliser pour les modèles génératifs en raison de son inadéquation avec les données bornées et compressées perceptuellement sur lesquelles ces modèles sont entraînés. Une solution naturelle consiste à apprendre de nouvelles représentations pour le HDR, ce qui introduit une complexité et des besoins en données supplémentaires. Dans ce travail, nous montrons que la génération HDR peut être réalisée de manière beaucoup plus simple en exploitant les fortes connaissances a priori visuelles déjà capturées par des modèles génératifs pré-entraînés. Nous observons qu'un encodage logarithmique largement utilisé dans les pipelines cinématographiques transforme l'imagerie HDR en une distribution naturellement alignée avec l'espace latent de ces modèles, permettant une adaptation directe via un réglage fin léger sans avoir à réentraîner un encodeur. Pour restaurer les détails qui ne sont pas directement observables dans l'entrée, nous introduisons en outre une stratégie d'entraînement basée sur des dégradations mimant la caméra, qui encourage le modèle à déduire le contenu HDR manquant à partir de ses connaissances a priori apprises. En combinant ces idées, nous démontrons une génération vidéo HDR de haute qualité en utilisant un modèle vidéo pré-entraîné avec une adaptation minimale, obtenant des résultats solides sur des scènes diverses et des conditions d'éclairage difficiles. Nos résultats indiquent que le HDR, bien qu'il représente un régime de formation d'image fondamentalement différent, peut être traité efficacement sans reconcevoir les modèles génératifs, à condition que la représentation soit choisie pour s'aligner sur leurs connaissances a priori apprises.

English

High dynamic range (HDR) imagery offers a rich and faithful representation of scene radiance, but remains challenging for generative models due to its mismatch with the bounded, perceptually compressed data on which these models are trained. A natural solution is to learn new representations for HDR, which introduces additional complexity and data requirements. In this work, we show that HDR generation can be achieved in a much simpler way by leveraging the strong visual priors already captured by pretrained generative models. We observe that a logarithmic encoding widely used in cinematic pipelines maps HDR imagery into a distribution that is naturally aligned with the latent space of these models, enabling direct adaptation via lightweight fine-tuning without retraining an encoder. To recover details that are not directly observable in the input, we further introduce a training strategy based on camera-mimicking degradations that encourages the model to infer missing high dynamic range content from its learned priors. Combining these insights, we demonstrate high-quality HDR video generation using a pretrained video model with minimal adaptation, achieving strong results across diverse scenes and challenging lighting conditions. Our results indicate that HDR, despite representing a fundamentally different image formation regime, can be handled effectively without redesigning generative models, provided that the representation is chosen to align with their learned priors.

Génération de vidéo HDR par alignement latent avec codage logarithmique

HDR Video Generation via Latent Alignment with Logarithmic Encoding

Résumé

Support