VIA: Um Framework de Adaptação Espaço-Temporal para Vídeo em Edições Globais e Locais

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

Autores: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

Resumo

A edição de vídeo é um pilar fundamental da mídia digital, abrangendo desde entretenimento e educação até comunicação profissional. No entanto, métodos anteriores frequentemente negligenciam a necessidade de compreender de forma abrangente tanto os contextos globais quanto locais, resultando em edições imprecisas e inconsistentes na dimensão espaço-temporal, especialmente para vídeos longos. Neste artigo, apresentamos o VIA, um framework unificado de Adaptação Espaço-temporal de Vídeo (VIdeo Adaptation) para edição global e local de vídeos, expandindo os limites da edição consistente de vídeos com duração de minutos. Primeiro, para garantir a consistência local dentro de quadros individuais, a base do VIA é um novo método de adaptação de edição em tempo de teste, que adapta um modelo pré-treinado de edição de imagens para melhorar a consistência entre as possíveis direções de edição e a instrução textual, além de adaptar variáveis latentes mascaradas para controle local preciso. Além disso, para manter a consistência global ao longo da sequência de vídeo, introduzimos a adaptação espaço-temporal, que adapta variáveis de atenção consistentes em quadros-chave e as aplica estrategicamente em toda a sequência para realizar os efeitos de edição. Experimentos extensivos demonstram que, em comparação com métodos de referência, nossa abordagem VIA produz edições mais fiéis aos vídeos originais, mais coerentes no contexto espaço-temporal e mais precisas no controle local. Mais importante ainda, mostramos que o VIA pode alcançar a edição consistente de vídeos longos em minutos, desbloqueando o potencial para tarefas avançadas de edição de vídeo em sequências longas.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.