Light-A-Video: Обучение-бесплатное изменение освещения видео с помощью постепенного слияния света

Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

February 12, 2025

Авторы: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu

cs.AI

Аннотация

Недавние достижения в моделях переосвещения изображений, обусловленные масштабными наборами данных и предварительно обученными моделями диффузии, позволили обеспечить согласованное освещение. Однако видео переосвещение все еще отстает, в основном из-за излишних затрат на обучение и недостатка разнообразных, высококачественных наборов данных для видео переосвещения. Простое применение моделей переосвещения изображений на основе кадра приводит к нескольким проблемам: несогласованности источника освещения и несогласованности переосвещенного вида, что приводит к мерцанию на созданных видео. В данной работе мы предлагаем Light-A-Video, подход без обучения для достижения временно плавного видео переосвещения. Адаптированный из моделей переосвещения изображений, Light-A-Video вводит две ключевые техники для улучшения согласованности освещения. Во-первых, мы разрабатываем модуль Consistent Light Attention (CLA), который улучшает взаимодействия между кадрами в рамках слоев самовнимания для стабилизации генерации фона источника освещения. Во-вторых, используя физический принцип независимости транспорта света, мы применяем линейное смешивание между внешним видом исходного видео и переосвещенным видом, используя стратегию Progressive Light Fusion (PLF) для обеспечения плавных временных переходов в освещении. Эксперименты показывают, что Light-A-Video улучшает временную согласованность переосвещенного видео, сохраняя качество изображения и обеспечивая последовательные переходы освещения между кадрами. Страница проекта: https://bujiazi.github.io/light-a-video.github.io/.

English

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.