Light-A-Video: Training-vrije Video Verlichting via Progressieve Licht Fusie

Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

February 12, 2025

Auteurs: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu

cs.AI

Samenvatting

Recente ontwikkelingen in beeldverlichtingsmodellen, aangedreven door grootschalige datasets en vooraf getrainde diffusiemodellen, hebben het opleggen van consistente verlichting mogelijk gemaakt. Videoverlichting loopt echter nog steeds achter, voornamelijk vanwege de hoge trainingskosten en het gebrek aan diverse, hoogwaardige videoverlichtingsdatasets. Een eenvoudige toepassing van beeldverlichtingsmodellen op een frame-voor-frame basis leidt tot verschillende problemen: inconsistentie van de lichtbron en inconsistentie van het verlichte uiterlijk, resulterend in flikkeringen in de gegenereerde video's. In dit werk stellen we Light-A-Video voor, een trainingvrije benadering om temporale soepele videoverlichting te bereiken. Aangepast van beeldverlichtingsmodellen, introduceert Light-A-Video twee belangrijke technieken om de verlichtingsconsistentie te verbeteren. Ten eerste ontwerpen we een Consistent Light Attention (CLA) module, die de interacties tussen frames binnen de zelfaandachtlagen verbetert om de generatie van de achtergrondverlichtingsbron te stabiliseren. Ten tweede, door gebruik te maken van het fysische principe van onafhankelijkheid van lichttransport, passen we lineaire vermenging toe tussen het uiterlijk van de bronvideo en het verlichte uiterlijk, met behulp van een Progressieve Light Fusion (PLF) strategie om soepele temporale overgangen in verlichting te garanderen. Experimenten tonen aan dat Light-A-Video de temporale consistentie van verlichte video verbetert terwijl de beeldkwaliteit behouden blijft, waardoor coherente verlichtingsovergangen tussen frames worden gegarandeerd. Projectpagina: https://bujiazi.github.io/light-a-video.github.io/.

English

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.