Light-A-Video: Training-freies Video-Relighting durch progressives Lichtfusion

Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

February 12, 2025

Autoren: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu

cs.AI

Zusammenfassung

Durch die jüngsten Fortschritte bei Bildrelighting-Modellen, die durch umfangreiche Datensätze und vorab trainierte Diffusionsmodelle angetrieben werden, wurde die Durchsetzung konsistenter Beleuchtung ermöglicht. Die Video-Relighting-Technik hinkt jedoch immer noch hinterher, hauptsächlich aufgrund der hohen Trainingskosten und des Mangels an vielfältigen, hochwertigen Video-Relighting-Datensätzen. Eine einfache Anwendung von Bildrelighting-Modellen auf Frame-Ebene führt zu mehreren Problemen: Inkonsistenz der Lichtquelle und Inkonsistenz des relighteten Erscheinungsbilds, was zu Flackern in den generierten Videos führt. In dieser Arbeit schlagen wir Light-A-Video vor, einen trainingsfreien Ansatz zur Erzielung einer zeitlich gleichmäßigen Video-Beleuchtung. Angelehnt an Bildrelighting-Modelle führt Light-A-Video zwei Schlüsseltechniken ein, um die Beleuchtungskonsistenz zu verbessern. Erstens entwerfen wir ein Modul für konsistente Lichtaufmerksamkeit (CLA), das die Wechselwirkungen zwischen den Frames innerhalb der Self-Attention-Schichten verstärkt, um die Generierung der Hintergrundlichtquelle zu stabilisieren. Zweitens wenden wir unter Nutzung des physikalischen Prinzips der Unabhängigkeit des Lichttransports ein lineares Mischen zwischen dem Erscheinungsbild des Quellvideos und dem relighteten Erscheinungsbild an, wobei eine Strategie des Progressiven Lichtfusions (PLF) verwendet wird, um eine reibungslose zeitliche Übergänge in der Beleuchtung zu gewährleisten. Experimente zeigen, dass Light-A-Video die zeitliche Konsistenz von relighteten Videos verbessert, während die Bildqualität beibehalten wird und so kohärente Beleuchtungsübergänge über die Frames hinweg gewährleistet werden. Projektpage: https://bujiazi.github.io/light-a-video.github.io/.

English

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.