VIA: Een Spatiotemporeel Video-aanpassingsraamwerk voor Globale en Lokale Videobewerking

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

Auteurs: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

Samenvatting

Video editing vormt een hoeksteen van digitale media, van entertainment en onderwijs tot professionele communicatie. Eerdere methoden hebben echter vaak de noodzaak over het hoofd gezien om zowel de globale als lokale contexten grondig te begrijpen, wat leidt tot onnauwkeurige en inconsistente bewerkingen in de spatiotemporele dimensie, vooral bij lange video's. In dit artikel introduceren we VIA, een uniform spatiotemporeel VIdeo Adaptatiekader voor globale en lokale videobewerking, dat de grenzen verlegt van het consistent bewerken van minutenlange video's. Ten eerste, om lokale consistentie binnen individuele frames te waarborgen, is de basis van VIA een nieuwe testtijd-bewerkingsadaptatiemethode, die een vooraf getraind beeldbewerkingsmodel aanpast om de consistentie tussen mogelijke bewerkingsrichtingen en de tekstinstructie te verbeteren, en gemaskeerde latente variabelen aanpast voor precieze lokale controle. Verder introduceren we, om globale consistentie over de videosequentie te behouden, spatiotemporele adaptatie die consistente aandachtvariabelen in sleutelframes aanpast en deze strategisch over de hele sequentie toepast om de bewerkingseffecten te realiseren. Uitgebreide experimenten tonen aan dat, in vergelijking met baseline-methoden, onze VIA-aanpak bewerkingen produceert die trouwer zijn aan de bronvideo's, coherenter in de spatiotemporele context, en preciezer in lokale controle. Belangrijker nog, we laten zien dat VIA consistente lange videobewerking in minuten kan bereiken, waardoor de mogelijkheden voor geavanceerde videobewerkingstaken over lange videosequenties worden ontsloten.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.