Light-A-Video : Éclairage de vidéos sans entraînement via Fusion de Lumière Progressive

Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

February 12, 2025

Auteurs: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu

cs.AI

Résumé

Les récents progrès dans les modèles de relighting d'images, soutenus par des ensembles de données à grande échelle et des modèles de diffusion pré-entraînés, ont permis d'imposer un éclairage cohérent. Cependant, le relighting vidéo est encore en retard, principalement en raison des coûts de formation excessifs et de la rareté des ensembles de données de relighting vidéo diversifiés et de haute qualité. Une application simple des modèles de relighting d'images sur une base image par image entraîne plusieurs problèmes : une incohérence de la source d'éclairage et une incohérence de l'apparence relightée, entraînant des scintillements dans les vidéos générées. Dans ce travail, nous proposons Light-A-Video, une approche sans formation pour obtenir un relighting vidéo temporellement fluide. Adapté des modèles de relighting d'images, Light-A-Video introduit deux techniques clés pour améliorer la cohérence de l'éclairage. Tout d'abord, nous concevons un module d'attention à la lumière cohérente (CLA), qui renforce les interactions entre les images dans les couches d'auto-attention pour stabiliser la génération de la source d'éclairage d'arrière-plan. Deuxièmement, en exploitant le principe physique de l'indépendance du transport de la lumière, nous appliquons un mélange linéaire entre l'apparence de la vidéo source et l'apparence relightée, en utilisant une stratégie de fusion progressive de la lumière (PLF) pour garantir des transitions temporelles fluides dans l'illumination. Les expériences montrent que Light-A-Video améliore la cohérence temporelle des vidéos relightées tout en maintenant la qualité de l'image, assurant des transitions d'éclairage cohérentes entre les images. Page du projet : https://bujiazi.github.io/light-a-video.github.io/.

English

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.