Über: Ein räumlich-zeitliches Video-Anpassungsrahmenwerk für globale und lokale Videobearbeitung

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

Autoren: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

Zusammenfassung

Die Videobearbeitung bildet das Fundament digitaler Medien, von Unterhaltung und Bildung bis hin zur professionellen Kommunikation. Bisherige Methoden vernachlässigen jedoch oft die Notwendigkeit, globale und lokale Kontexte umfassend zu verstehen, was zu ungenauen und inkonsistenten Bearbeitungen in der Raum-Zeit-Dimension führt, insbesondere bei langen Videos. In diesem Paper stellen wir VIA vor, ein vereinheitlichtes raumzeitliches Videoanpassungsframework für globale und lokale Videobearbeitung, das die Grenzen der konsistenten Bearbeitung von kurzen Videos erweitert. Zunächst gewährleistet VIA zur Sicherung der lokalen Konsistenz innerhalb einzelner Frames eine neuartige Testzeit-Bearbeitungsanpassungsmethode, die ein vortrainiertes Bildbearbeitungsmodell anpasst, um die Konsistenz zwischen potenziellen Bearbeitungsrichtungen und der Textanweisung zu verbessern, und angepasste maskierte latente Variablen für präzise lokale Steuerung verwendet. Darüber hinaus führen wir zur Aufrechterhaltung der globalen Konsistenz über die Videosequenz eine raumzeitliche Anpassung ein, die konsistente Aufmerksamkeitsvariablen in Schlüsselbildern anpasst und sie strategisch über die gesamte Sequenz anwendet, um die Bearbeitungseffekte zu realisieren. Umfangreiche Experimente zeigen, dass unser VIA-Ansatz im Vergleich zu Basislinienmethoden Bearbeitungen produziert, die treuer zu den Ausgangsvideos sind, kohärenter im raumzeitlichen Kontext und präziser in der lokalen Steuerung. Vor allem zeigen wir, dass VIA konsistente Bearbeitungen langer Videos in Minuten erreichen kann, was das Potenzial für fortgeschrittene Videobearbeitungsaufgaben über lange Videosequenzen freisetzt.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.