TC-Light: Rilluminazione Temporalmente Coerente per Video Dinamici Lunghi
TC-Light: Temporally Consistent Relighting for Dynamic Long Videos
June 23, 2025
Autori: Yang Liu, Chuanchen Luo, Zimo Tang, Yingyan Li, Yuran Yang, Yuanyong Ning, Lue Fan, Junran Peng, Zhaoxiang Zhang
cs.AI
Abstract
La modifica dell'illuminazione in video lunghi con dinamiche complesse ha un valore significativo in varie attività downstream, tra cui la creazione e manipolazione di contenuti visivi, nonché il potenziamento dei dati per l'AI incarnata attraverso il trasferimento sim2real e real2real. Tuttavia, le tecniche esistenti di rilucente video sono prevalentemente limitate a video ritratti o si scontrano con il collo di bottiglia della coerenza temporale e dell'efficienza computazionale. In questo articolo, proponiamo TC-Light, un nuovo paradigma caratterizzato dal meccanismo di ottimizzazione post in due fasi proposto. Partendo dal video preliminarmente rilucente da un modello di rilucente video espanso, ottimizza l'embedding dell'aspetto nella prima fase per allineare l'illuminazione globale. Successivamente, ottimizza la rappresentazione video canonica proposta, ovvero il Tensore Video Unico (UVT), per allineare la texture e l'illuminazione di dettaglio nella seconda fase. Per valutare in modo completo le prestazioni, abbiamo anche stabilito un benchmark di video lunghi e altamente dinamici. Esperimenti estesi dimostrano che il nostro metodo consente risultati di rilucente fisicamente plausibili con una superiore coerenza temporale e un basso costo computazionale. Il codice e le demo video sono disponibili su https://dekuliutesla.github.io/tclight/.
English
Editing illumination in long videos with complex dynamics has significant
value in various downstream tasks, including visual content creation and
manipulation, as well as data scaling up for embodied AI through sim2real and
real2real transfer. Nevertheless, existing video relighting techniques are
predominantly limited to portrait videos or fall into the bottleneck of
temporal consistency and computation efficiency. In this paper, we propose
TC-Light, a novel paradigm characterized by the proposed two-stage post
optimization mechanism. Starting from the video preliminarily relighted by an
inflated video relighting model, it optimizes appearance embedding in the first
stage to align global illumination. Then it optimizes the proposed canonical
video representation, i.e., Unique Video Tensor (UVT), to align fine-grained
texture and lighting in the second stage. To comprehensively evaluate
performance, we also establish a long and highly dynamic video benchmark.
Extensive experiments show that our method enables physically plausible
relighting results with superior temporal coherence and low computation cost.
The code and video demos are available at
https://dekuliutesla.github.io/tclight/.