Light-A-Video: Relumbrado de video sin entrenamiento a través de la Fusión de Luz Progresiva

Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

February 12, 2025

Autores: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu

cs.AI

Resumen

Los avances recientes en modelos de reiluminación de imágenes, impulsados por conjuntos de datos a gran escala y modelos de difusión pre-entrenados, han permitido la imposición de iluminación consistente. Sin embargo, la reiluminación de videos aún se rezaga, principalmente debido a los costos excesivos de entrenamiento y la escasez de conjuntos de datos de reiluminación de video diversos y de alta calidad. Una aplicación simple de modelos de reiluminación de imágenes en base a cuadro por cuadro conlleva varios problemas: inconsistencia en la fuente de iluminación e inconsistencia en la apariencia reiluminada, lo que resulta en parpadeos en los videos generados. En este trabajo, proponemos Light-A-Video, un enfoque sin entrenamiento para lograr una reiluminación de video temporalmente suave. Adaptado de modelos de reiluminación de imágenes, Light-A-Video introduce dos técnicas clave para mejorar la consistencia de iluminación. En primer lugar, diseñamos un módulo de Atención de Luz Consistente (CLA), que mejora las interacciones entre cuadros dentro de las capas de autoatención para estabilizar la generación de la fuente de iluminación de fondo. En segundo lugar, aprovechando el principio físico de independencia del transporte de luz, aplicamos mezcla lineal entre la apariencia del video fuente y la apariencia reiluminada, utilizando una estrategia de Fusión de Luz Progresiva (PLF) para garantizar transiciones temporales suaves en la iluminación. Los experimentos muestran que Light-A-Video mejora la consistencia temporal de videos reiluminados manteniendo la calidad de imagen, asegurando transiciones de iluminación coherentes entre cuadros. Página del proyecto: https://bujiazi.github.io/light-a-video.github.io/.

English

Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.