VIA: Un Marco de Adaptación Espaciotemporal para la Edición Global y Local de Videos

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

Autores: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

Resumen

La edición de video se erige como un pilar fundamental de los medios digitales, desde el entretenimiento y la educación hasta la comunicación profesional. Sin embargo, los métodos anteriores a menudo pasan por alto la necesidad de comprender de manera integral tanto los contextos globales como locales, lo que lleva a ediciones inexactas e inconsistentes en la dimensión espacio-temporal, especialmente en videos largos. En este artículo, presentamos VIA, un marco unificado de Adaptación espacio-temporal de VIdeo para la edición global y local de videos, llevando al límite la edición consistente de videos de varios minutos. En primer lugar, para garantizar la consistencia local dentro de los fotogramas individuales, la base de VIA es un novedoso método de adaptación de edición en tiempo de prueba, que adapta un modelo de edición de imágenes preentrenado para mejorar la coherencia entre las posibles direcciones de edición y la instrucción de texto, y adapta variables latentes enmascaradas para un control local preciso. Además, para mantener la consistencia global a lo largo de la secuencia de video, introducimos una adaptación espacio-temporal que adapta variables de atención consistentes en fotogramas clave y las aplica estratégicamente en toda la secuencia para lograr los efectos de edición. Experimentos exhaustivos demuestran que, en comparación con los métodos de referencia, nuestro enfoque VIA produce ediciones que son más fieles a los videos originales, más coherentes en el contexto espacio-temporal y más precisas en el control local. Más importante aún, mostramos que VIA puede lograr una edición consistente de videos largos en cuestión de minutos, desbloqueando el potencial para tareas avanzadas de edición de video en secuencias largas.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.