Light-A-Video: 進行的な光フュージョンを介したトレーニング不要のビデオ再照明

Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

February 12, 2025

著者: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu

cs.AI

要旨

最近の画像の再照明モデルの進歩は、大規模データセットと事前学習された拡散モデルによって駆動され、一貫した照明の実施を可能にしました。しかし、ビデオの再照明は、主に過剰なトレーニングコストと多様で高品質なビデオの再照明データセットの不足のために遅れています。画像の再照明モデルをフレームごとに単純に適用すると、いくつかの問題が生じます：照明源の不一致と再照明された外観の不一致により、生成されたビデオにフリッカーが生じます。本研究では、トレーニング不要のアプローチであるLight-A-Videoを提案し、時間的にスムーズなビデオの再照明を実現します。画像の再照明モデルから適応されたLight-A-Videoは、照明の一貫性を向上させるための2つの主要な技術を導入します。まず、背景の照明源の生成を安定化させるために、自己注意層内でクロスフレームの相互作用を強化するConsistent Light Attention（CLA）モジュールを設計します。次に、光の輸送独立性の物理的原理を活用し、ソースビデオの外観と再照明された外観の間で線形ブレンディングを適用し、Progressive Light Fusion（PLF）戦略を使用して、照明の時間的な遷移をスムーズにします。実験結果は、Light-A-Videoが再照明されたビデオの時間的一貫性を向上させ、画質を維持しつつ、フレーム間で一貫した照明の遷移を確保することを示しています。プロジェクトページ：https://bujiazi.github.io/light-a-video.github.io/.

English

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.