VIA : Un cadre d'adaptation vidéo spatiotemporelle pour l'édition globale et locale de vidéos

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

Auteurs: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

Résumé

Le montage vidéo constitue une pierre angulaire des médias numériques, qu'il s'agisse de divertissement, d'éducation ou de communication professionnelle. Cependant, les méthodes précédentes négligent souvent la nécessité de comprendre de manière exhaustive les contextes globaux et locaux, entraînant des modifications imprécises et incohérentes dans la dimension spatio-temporelle, en particulier pour les vidéos longues. Dans cet article, nous présentons VIA, un cadre unifié d'adaptation spatio-temporelle pour le montage vidéo global et local, repoussant les limites du montage cohérent de vidéos de plusieurs minutes. Tout d'abord, pour garantir la cohérence locale au sein des images individuelles, la base de VIA est une nouvelle méthode d'adaptation de montage en temps de test, qui adapte un modèle de montage d'images pré-entraîné pour améliorer la cohérence entre les directions de montage potentielles et les instructions textuelles, et adapte les variables latentes masquées pour un contrôle local précis. En outre, pour maintenir la cohérence globale sur la séquence vidéo, nous introduisons une adaptation spatio-temporelle qui adapte les variables d'attention cohérentes dans les images clés et les applique stratégiquement à l'ensemble de la séquence pour réaliser les effets de montage. Des expériences approfondies démontrent que, par rapport aux méthodes de référence, notre approche VIA produit des modifications plus fidèles aux vidéos sources, plus cohérentes dans le contexte spatio-temporel et plus précises dans le contrôle local. Plus important encore, nous montrons que VIA peut réaliser un montage cohérent de vidéos longues en quelques minutes, ouvrant ainsi des perspectives pour des tâches de montage vidéo avancées sur des séquences vidéo longues.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.