TC-Light: 動的長時間ビデオのための時間的一貫性を保つリライティング

要旨

複雑なダイナミクスを持つ長時間ビデオにおける照明編集は、ビジュアルコンテンツの作成や操作、さらにはシミュレーションから現実（sim2real）および現実から現実（real2real）への転移を通じた具現化AIのデータスケールアップなど、さまざまな下流タスクにおいて重要な価値を持つ。しかしながら、既存のビデオ再照明技術は、主にポートレートビデオに限定されているか、時間的一貫性と計算効率のボトルネックに陥っている。本論文では、提案する二段階最適化メカニズムを特徴とする新しいパラダイム、TC-Lightを提案する。膨張型ビデオ再照明モデルによって予備的に再照明されたビデオから始め、第一段階で外観埋め込みを最適化してグローバルな照明を整列させる。次に、第二段階で提案する正規ビデオ表現、すなわちユニークビデオテンソル（UVT）を最適化して、細かなテクスチャと照明を整列させる。性能を包括的に評価するために、長時間かつ高度にダイナミックなビデオベンチマークも確立した。広範な実験により、本手法が物理的に妥当な再照明結果を優れた時間的一貫性と低い計算コストで実現することが示された。コードとビデオデモはhttps://dekuliutesla.github.io/tclight/で公開されている。

English

Editing illumination in long videos with complex dynamics has significant value in various downstream tasks, including visual content creation and manipulation, as well as data scaling up for embodied AI through sim2real and real2real transfer. Nevertheless, existing video relighting techniques are predominantly limited to portrait videos or fall into the bottleneck of temporal consistency and computation efficiency. In this paper, we propose TC-Light, a novel paradigm characterized by the proposed two-stage post optimization mechanism. Starting from the video preliminarily relighted by an inflated video relighting model, it optimizes appearance embedding in the first stage to align global illumination. Then it optimizes the proposed canonical video representation, i.e., Unique Video Tensor (UVT), to align fine-grained texture and lighting in the second stage. To comprehensively evaluate performance, we also establish a long and highly dynamic video benchmark. Extensive experiments show that our method enables physically plausible relighting results with superior temporal coherence and low computation cost. The code and video demos are available at https://dekuliutesla.github.io/tclight/.

TC-Light: 動的長時間ビデオのための時間的一貫性を保つリライティング

TC-Light: Temporally Consistent Relighting for Dynamic Long Videos

要旨

Support