TC-Light: Temporeel Consistente Herbelichting voor Dynamische Lange Video's

TC-Light: Temporally Consistent Relighting for Dynamic Long Videos

June 23, 2025

Auteurs: Yang Liu, Chuanchen Luo, Zimo Tang, Yingyan Li, Yuran Yang, Yuanyong Ning, Lue Fan, Junran Peng, Zhaoxiang Zhang

cs.AI

Samenvatting

Het bewerken van belichting in lange video's met complexe dynamiek heeft aanzienlijke waarde voor verschillende downstream taken, waaronder visuele contentcreatie en -manipulatie, evenals het opschalen van data voor embodied AI via sim2real en real2real transfer. Desalniettemin zijn bestaande video-relightingtechnieken voornamelijk beperkt tot portretvideo's of vallen ze in de bottleneck van temporele consistentie en rekenkundige efficiëntie. In dit artikel stellen we TC-Light voor, een nieuw paradigma gekenmerkt door het voorgestelde tweestaps post-optimalisatiemechanisme. Beginnend bij de video die voorlopig is herbelicht door een uitgebreid video-relightingmodel, optimaliseert het in de eerste fase de appearance embedding om de globale belichting af te stemmen. Vervolgens optimaliseert het in de tweede fase de voorgestelde canonieke videorepresentatie, namelijk de Unique Video Tensor (UVT), om fijnmazige textuur en belichting af te stemmen. Om de prestaties uitgebreid te evalueren, hebben we ook een benchmark voor lange en zeer dynamische video's opgesteld. Uitgebreide experimenten tonen aan dat onze methode fysisch plausibele relightingresultaten mogelijk maakt met superieure temporele coherentie en lage rekenkosten. De code en videodemo's zijn beschikbaar op https://dekuliutesla.github.io/tclight/.

English

Editing illumination in long videos with complex dynamics has significant value in various downstream tasks, including visual content creation and manipulation, as well as data scaling up for embodied AI through sim2real and real2real transfer. Nevertheless, existing video relighting techniques are predominantly limited to portrait videos or fall into the bottleneck of temporal consistency and computation efficiency. In this paper, we propose TC-Light, a novel paradigm characterized by the proposed two-stage post optimization mechanism. Starting from the video preliminarily relighted by an inflated video relighting model, it optimizes appearance embedding in the first stage to align global illumination. Then it optimizes the proposed canonical video representation, i.e., Unique Video Tensor (UVT), to align fine-grained texture and lighting in the second stage. To comprehensively evaluate performance, we also establish a long and highly dynamic video benchmark. Extensive experiments show that our method enables physically plausible relighting results with superior temporal coherence and low computation cost. The code and video demos are available at https://dekuliutesla.github.io/tclight/.