ПО: Пространственно-временная видеоадаптационная платформа для глобального и локального редактирования видео

VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

June 18, 2024

Авторы: Jing Gu, Yuwei Fang, Ivan Skorokhodov, Peter Wonka, Xinya Du, Sergey Tulyakov, Xin Eric Wang

cs.AI

Аннотация

Монтаж видео является основой цифровых медиа, от развлечений и образования до профессионального общения. Однако ранее применяемые методы часто не учитывали необходимость всестороннего понимания как глобальных, так и локальных контекстов, что приводило к неточным и несогласованным правкам в пространственно-временном измерении, особенно для длинных видеороликов. В данной статье мы представляем VIA, универсальную временно-пространственную систему адаптации видео для глобального и локального монтажа, расширяющую возможности последовательного монтажа видеороликов длительностью в минуту. Во-первых, для обеспечения локальной согласованности внутри отдельных кадров основой VIA является новый метод адаптации редактирования во время тестирования, который адаптирует предварительно обученную модель редактирования изображений для улучшения согласованности между возможными направлениями редактирования и текстовой инструкцией, а также адаптирует маскированные скрытые переменные для точного локального контроля. Кроме того, для поддержания глобальной согласованности по всей последовательности видео мы представляем временно-пространственную адаптацию, которая адаптирует согласованные переменные внимания в ключевых кадрах и стратегически применяет их по всей последовательности для реализации эффектов монтажа. Обширные эксперименты демонстрируют, что по сравнению с базовыми методами наш подход VIA создает правки, более верные исходным видеороликам, более согласованные в пространственно-временном контексте и более точные в локальном контроле. Более того, мы показываем, что VIA способен обеспечить последовательный монтаж длинных видеороликов в минуты, разблокируя потенциал для продвинутых задач монтажа видео по длинным последовательностям.

English

Video editing stands as a cornerstone of digital media, from entertainment and education to professional communication. However, previous methods often overlook the necessity of comprehensively understanding both global and local contexts, leading to inaccurate and inconsistency edits in the spatiotemporal dimension, especially for long videos. In this paper, we introduce VIA, a unified spatiotemporal VIdeo Adaptation framework for global and local video editing, pushing the limits of consistently editing minute-long videos. First, to ensure local consistency within individual frames, the foundation of VIA is a novel test-time editing adaptation method, which adapts a pre-trained image editing model for improving consistency between potential editing directions and the text instruction, and adapts masked latent variables for precise local control. Furthermore, to maintain global consistency over the video sequence, we introduce spatiotemporal adaptation that adapts consistent attention variables in key frames and strategically applies them across the whole sequence to realize the editing effects. Extensive experiments demonstrate that, compared to baseline methods, our VIA approach produces edits that are more faithful to the source videos, more coherent in the spatiotemporal context, and more precise in local control. More importantly, we show that VIA can achieve consistent long video editing in minutes, unlocking the potentials for advanced video editing tasks over long video sequences.