VIA: 전역 및 지역 비디오 편집을 위한 시공간적 비디오 적응 프레임워크

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

저자: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

초록

비디오 편집은 엔터테인먼트와 교육부터 전문적인 커뮤니케이션에 이르기까지 디지털 미디어의 핵심 요소로 자리 잡고 있습니다. 그러나 기존 방법들은 종종 전역적 및 지역적 맥락을 포괄적으로 이해할 필요성을 간과하여, 특히 긴 비디오에서 시공간적 차원에서 부정확하고 일관성 없는 편집을 초래했습니다. 본 논문에서는 전역적 및 지역적 비디오 편집을 위한 통합 시공간 비디오 적응 프레임워크인 VIA를 소개하며, 분 단위의 긴 비디오를 일관성 있게 편집하는 한계를 뛰어넘습니다. 먼저, 개별 프레임 내의 지역적 일관성을 보장하기 위해 VIA의 기반이 되는 새로운 테스트 타임 편집 적응 방법을 제안합니다. 이 방법은 사전 훈련된 이미지 편집 모델을 적응시켜 잠재적 편집 방향과 텍스트 지시 사항 간의 일관성을 개선하고, 정밀한 지역적 제어를 위해 마스크된 잠재 변수를 적응시킵니다. 더 나아가 비디오 시퀀스 전반에 걸친 전역적 일관성을 유지하기 위해, 키 프레임에서 일관된 주의 변수를 적응시키고 이를 전략적으로 전체 시퀀스에 적용하여 편집 효과를 실현하는 시공간 적응을 도입했습니다. 광범위한 실험을 통해, VIA 접근법이 기준 방법들에 비해 원본 비디오에 더 충실하고, 시공간적 맥락에서 더 일관되며, 지역적 제어에서 더 정밀한 편집을 생성함을 입증했습니다. 더 중요한 것은, VIA가 몇 분 안에 일관된 긴 비디오 편집을 달성할 수 있어, 긴 비디오 시퀀스에 대한 고급 비디오 편집 작업의 잠재력을 열어준다는 점입니다.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.