TC-Light: Временная согласованность переосвещения для длинных динамических видео

TC-Light: Temporally Consistent Relighting for Dynamic Long Videos

June 23, 2025

Авторы: Yang Liu, Chuanchen Luo, Zimo Tang, Yingyan Li, Yuran Yang, Yuanyong Ning, Lue Fan, Junran Peng, Zhaoxiang Zhang

cs.AI

Аннотация

Редактирование освещения в длинных видео со сложной динамикой имеет значительную ценность для различных прикладных задач, включая создание и манипуляцию визуальным контентом, а также масштабирование данных для воплощённого ИИ через трансфер sim2real и real2real. Тем не менее, существующие методы переосвещения видео в основном ограничиваются портретными видео или сталкиваются с проблемами временной согласованности и вычислительной эффективности. В данной статье мы предлагаем TC-Light, новую парадигму, характеризующуюся предложенным двухэтапным механизмом пост-оптимизации. Начиная с видео, предварительно переосвещённого расширенной моделью переосвещения видео, на первом этапе оптимизируется встраивание внешнего вида для согласования глобального освещения. Затем на втором этапе оптимизируется предложенное каноническое представление видео, а именно Уникальный Видео Тензор (UVT), для согласования детализированной текстуры и освещения. Для всесторонней оценки производительности мы также создали эталонный набор данных для длинных и высокодинамичных видео. Многочисленные эксперименты показывают, что наш метод обеспечивает физически правдоподобные результаты переосвещения с превосходной временной согласованностью и низкими вычислительными затратами. Код и демонстрационные видео доступны по адресу https://dekuliutesla.github.io/tclight/.

English

Editing illumination in long videos with complex dynamics has significant value in various downstream tasks, including visual content creation and manipulation, as well as data scaling up for embodied AI through sim2real and real2real transfer. Nevertheless, existing video relighting techniques are predominantly limited to portrait videos or fall into the bottleneck of temporal consistency and computation efficiency. In this paper, we propose TC-Light, a novel paradigm characterized by the proposed two-stage post optimization mechanism. Starting from the video preliminarily relighted by an inflated video relighting model, it optimizes appearance embedding in the first stage to align global illumination. Then it optimizes the proposed canonical video representation, i.e., Unique Video Tensor (UVT), to align fine-grained texture and lighting in the second stage. To comprehensively evaluate performance, we also establish a long and highly dynamic video benchmark. Extensive experiments show that our method enables physically plausible relighting results with superior temporal coherence and low computation cost. The code and video demos are available at https://dekuliutesla.github.io/tclight/.