TC-Light: 동적 장기 비디오를 위한 시간적 일관성 조명 재조정

초록

복잡한 동적 요소를 가진 긴 비디오에서 조명을 편집하는 작업은 시각적 콘텐츠 제작 및 조작을 비롯해, 시뮬레이션에서 실제로(sim2real) 그리고 실제에서 실제로(real2real) 전이를 통해 구현된 AI의 데이터 확장 등 다양한 다운스트림 작업에서 상당한 가치를 지닙니다. 그러나 기존의 비디오 재조명 기술은 주로 초상화 비디오에 국한되거나 시간적 일관성과 계산 효율성의 병목 현상에 직면해 있습니다. 본 논문에서는 두 단계의 사후 최적화 메커니즘으로 특징지어지는 새로운 패러다임인 TC-Light를 제안합니다. 이 방법은 인플레이트된 비디오 재조명 모델로 예비적으로 재조명된 비디오를 시작점으로 하여, 첫 번째 단계에서 전역 조명을 맞추기 위해 외형 임베딩을 최적화합니다. 그런 다음 두 번째 단계에서 제안된 정규 비디오 표현인 Unique Video Tensor(UVT)를 최적화하여 세밀한 질감과 조명을 맞춥니다. 성능을 종합적으로 평가하기 위해, 우리는 길고 매우 동적인 비디오 벤치마크도 구축했습니다. 광범위한 실험을 통해 우리의 방법이 물리적으로 타당한 재조명 결과를 우수한 시간적 일관성과 낮은 계산 비용으로 가능하게 함을 보여줍니다. 코드와 비디오 데모는 https://dekuliutesla.github.io/tclight/에서 확인할 수 있습니다.

English

Editing illumination in long videos with complex dynamics has significant value in various downstream tasks, including visual content creation and manipulation, as well as data scaling up for embodied AI through sim2real and real2real transfer. Nevertheless, existing video relighting techniques are predominantly limited to portrait videos or fall into the bottleneck of temporal consistency and computation efficiency. In this paper, we propose TC-Light, a novel paradigm characterized by the proposed two-stage post optimization mechanism. Starting from the video preliminarily relighted by an inflated video relighting model, it optimizes appearance embedding in the first stage to align global illumination. Then it optimizes the proposed canonical video representation, i.e., Unique Video Tensor (UVT), to align fine-grained texture and lighting in the second stage. To comprehensively evaluate performance, we also establish a long and highly dynamic video benchmark. Extensive experiments show that our method enables physically plausible relighting results with superior temporal coherence and low computation cost. The code and video demos are available at https://dekuliutesla.github.io/tclight/.

TC-Light: 동적 장기 비디오를 위한 시간적 일관성 조명 재조정

TC-Light: Temporally Consistent Relighting for Dynamic Long Videos

초록

Support