VIA: グローバルおよびローカルなビデオ編集のための時空間ビデオ適応フレームワーク

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

著者: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

要旨

ビデオ編集は、エンターテイメントや教育から専門的なコミュニケーションに至るまで、デジタルメディアの基盤をなす重要な要素です。しかし、従来の手法では、グローバルおよびローカルのコンテキストを包括的に理解する必要性を見落とすことが多く、特に長時間のビデオにおいて、時空間次元での不正確で一貫性のない編集が生じていました。本論文では、VIA（統一された時空間ビデオ適応フレームワーク）を紹介し、グローバルおよびローカルなビデオ編集の限界を押し広げ、数分間のビデオを一貫して編集することを可能にします。まず、個々のフレーム内でのローカルな一貫性を確保するために、VIAの基盤となるのは、事前に訓練された画像編集モデルを適応させる新しいテストタイム編集適応手法です。これにより、潜在的な編集方向とテキスト指示との間の一貫性が向上し、マスクされた潜在変数を適応させることで、正確なローカル制御が可能になります。さらに、ビデオシーケンス全体でのグローバルな一貫性を維持するために、キーフレームでの一貫した注意変数を適応させ、それを戦略的にシーケンス全体に適用することで編集効果を実現する時空間適応を導入します。広範な実験により、ベースライン手法と比較して、VIAアプローチがソースビデオに忠実で、時空間コンテキストにおいてより一貫性があり、ローカル制御においてより正確な編集を生み出すことが示されています。さらに重要なことに、VIAが数分間の長いビデオ編集を一貫して達成できることを示し、長いビデオシーケンスに対する高度なビデオ編集タスクの可能性を解き放ちます。

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.