VIA: Un Framework di Adattamento Spaziotemporale per Video per l'Editing Globale e Locale

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

Autori: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

Abstract

Il video editing rappresenta una pietra angolare dei media digitali, dall'intrattenimento e l'educazione alla comunicazione professionale. Tuttavia, i metodi precedenti spesso trascurano la necessità di comprendere in modo completo sia i contesti globali che locali, portando a modifiche inaccurate e incoerenti nella dimensione spazio-temporale, specialmente per video lunghi. In questo articolo, introduciamo VIA, un framework unificato di adattamento spazio-temporale per il video editing globale e locale, spingendo i limiti della modifica coerente di video della durata di minuti. Innanzitutto, per garantire la coerenza locale all'interno dei singoli fotogrammi, il fondamento di VIA è un nuovo metodo di adattamento dell'editing in fase di test, che adatta un modello di editing di immagini pre-addestrato per migliorare la coerenza tra le potenziali direzioni di modifica e l'istruzione testuale, e adatta variabili latenti mascherate per un controllo locale preciso. Inoltre, per mantenere la coerenza globale lungo la sequenza video, introduciamo un adattamento spazio-temporale che adatta variabili di attenzione coerenti nei fotogrammi chiave e le applica strategicamente su tutta la sequenza per realizzare gli effetti di editing. Esperimenti estensivi dimostrano che, rispetto ai metodi di base, il nostro approccio VIA produce modifiche più fedeli ai video sorgente, più coerenti nel contesto spazio-temporale e più precise nel controllo locale. Ancora più importante, mostriamo che VIA può raggiungere una modifica coerente di video lunghi in pochi minuti, sbloccando il potenziale per compiti avanzati di video editing su sequenze video lunghe.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.