TC-Light: Reiluminación Temporalmente Consistente para Vídeos Dinámicos de Larga Duración

TC-Light: Temporally Consistent Relighting for Dynamic Long Videos

June 23, 2025

Autores: Yang Liu, Chuanchen Luo, Zimo Tang, Yingyan Li, Yuran Yang, Yuanyong Ning, Lue Fan, Junran Peng, Zhaoxiang Zhang

cs.AI

Resumen

La edición de iluminación en videos largos con dinámicas complejas tiene un valor significativo en diversas tareas posteriores, incluyendo la creación y manipulación de contenido visual, así como la ampliación de datos para la IA encarnada a través de transferencias sim2real y real2real. Sin embargo, las técnicas existentes de reiluminación de videos están predominantemente limitadas a videos de retratos o caen en el cuello de botella de la consistencia temporal y la eficiencia computacional. En este artículo, proponemos TC-Light, un nuevo paradigma caracterizado por el mecanismo de optimización posterior en dos etapas propuesto. Partiendo del video preliminarmente reiluminado por un modelo inflado de reiluminación de video, optimiza la incrustación de apariencia en la primera etapa para alinear la iluminación global. Luego, optimiza la representación canónica de video propuesta, es decir, el Tensor de Video Único (UVT), para alinear la textura y la iluminación detallada en la segunda etapa. Para evaluar de manera integral el rendimiento, también establecemos un punto de referencia de videos largos y altamente dinámicos. Experimentos extensos muestran que nuestro método permite resultados de reiluminación físicamente plausibles con una coherencia temporal superior y un bajo costo computacional. El código y las demostraciones en video están disponibles en https://dekuliutesla.github.io/tclight/.

English

Editing illumination in long videos with complex dynamics has significant value in various downstream tasks, including visual content creation and manipulation, as well as data scaling up for embodied AI through sim2real and real2real transfer. Nevertheless, existing video relighting techniques are predominantly limited to portrait videos or fall into the bottleneck of temporal consistency and computation efficiency. In this paper, we propose TC-Light, a novel paradigm characterized by the proposed two-stage post optimization mechanism. Starting from the video preliminarily relighted by an inflated video relighting model, it optimizes appearance embedding in the first stage to align global illumination. Then it optimizes the proposed canonical video representation, i.e., Unique Video Tensor (UVT), to align fine-grained texture and lighting in the second stage. To comprehensively evaluate performance, we also establish a long and highly dynamic video benchmark. Extensive experiments show that our method enables physically plausible relighting results with superior temporal coherence and low computation cost. The code and video demos are available at https://dekuliutesla.github.io/tclight/.