TC-Light: Zeitlich konsistente Neubeleuchtung für dynamische Langvideos

TC-Light: Temporally Consistent Relighting for Dynamic Long Videos

June 23, 2025

Autoren: Yang Liu, Chuanchen Luo, Zimo Tang, Yingyan Li, Yuran Yang, Yuanyong Ning, Lue Fan, Junran Peng, Zhaoxiang Zhang

cs.AI

Zusammenfassung

Die Bearbeitung der Beleuchtung in langen Videos mit komplexen Dynamiken hat einen erheblichen Wert für verschiedene nachgelagerte Aufgaben, einschließlich der Erstellung und Manipulation von visuellen Inhalten sowie der Skalierung von Daten für verkörperte KI durch Sim2Real- und Real2Real-Transfer. Dennoch sind bestehende Video-Relighting-Techniken überwiegend auf Porträtvideos beschränkt oder geraten in den Engpass von zeitlicher Konsistenz und Recheneffizienz. In diesem Artikel schlagen wir TC-Light vor, ein neuartiges Paradigma, das durch den vorgeschlagenen zweistufigen Post-Optimierungsmechanismus gekennzeichnet ist. Ausgehend von einem vorläufig relighteten Video durch ein erweitertes Video-Relighting-Modell, optimiert es im ersten Stadium das Erscheinungsbild-Einbettung, um die globale Beleuchtung auszurichten. Anschließend optimiert es im zweiten Stadium die vorgeschlagene kanonische Video-Darstellung, d.h. das Unique Video Tensor (UVT), um feinkörnige Texturen und Beleuchtung auszurichten. Um die Leistung umfassend zu bewerten, haben wir auch einen Benchmark für lange und hochdynamische Videos erstellt. Umfangreiche Experimente zeigen, dass unsere Methode physikalisch plausible Relighting-Ergebnisse mit überlegener zeitlicher Kohärenz und geringen Rechenkosten ermöglicht. Der Code und Video-Demos sind verfügbar unter https://dekuliutesla.github.io/tclight/.

English

Editing illumination in long videos with complex dynamics has significant value in various downstream tasks, including visual content creation and manipulation, as well as data scaling up for embodied AI through sim2real and real2real transfer. Nevertheless, existing video relighting techniques are predominantly limited to portrait videos or fall into the bottleneck of temporal consistency and computation efficiency. In this paper, we propose TC-Light, a novel paradigm characterized by the proposed two-stage post optimization mechanism. Starting from the video preliminarily relighted by an inflated video relighting model, it optimizes appearance embedding in the first stage to align global illumination. Then it optimizes the proposed canonical video representation, i.e., Unique Video Tensor (UVT), to align fine-grained texture and lighting in the second stage. To comprehensively evaluate performance, we also establish a long and highly dynamic video benchmark. Extensive experiments show that our method enables physically plausible relighting results with superior temporal coherence and low computation cost. The code and video demos are available at https://dekuliutesla.github.io/tclight/.