MaskINT: Редактирование видео с помощью интерполяционных неавторегрессивных маскированных трансформеров

MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers

December 19, 2023

Авторы: Haoyu Ma, Shahin Mahdizadehaghdam, Bichen Wu, Zhipeng Fan, Yuchao Gu, Wenliang Zhao, Lior Shapira, Xiaohui Xie

cs.AI

Аннотация

Последние достижения в области генеративного ИИ значительно улучшили возможности редактирования изображений и видео, особенно в контексте управления с помощью текстовых запросов. Современные подходы преимущественно опираются на диффузионные модели для выполнения этих задач. Однако вычислительные требования методов, основанных на диффузии, весьма значительны, часто требуя крупномасштабных парных наборов данных для обучения, что затрудняет их применение на практике. Данное исследование решает эту проблему, разделяя процесс текстового редактирования видео на два отдельных этапа. На первом этапе мы используем существующую текстово-изобразительную диффузионную модель для одновременного редактирования нескольких ключевых кадров без дополнительной тонкой настройки. На втором этапе мы представляем эффективную модель под названием MaskINT, основанную на неавторегрессивных маскированных генеративных трансформерах и специализирующуюся на интерполяции кадров между ключевыми, используя структурные подсказки, предоставляемые промежуточными кадрами. Наши всесторонние эксперименты демонстрируют эффективность и производительность MaskINT по сравнению с другими методами, основанными на диффузии. Это исследование предлагает практическое решение для текстового редактирования видео и демонстрирует потенциал неавторегрессивных маскированных генеративных трансформеров в данной области.

English

Recent advances in generative AI have significantly enhanced image and video editing, particularly in the context of text prompt control. State-of-the-art approaches predominantly rely on diffusion models to accomplish these tasks. However, the computational demands of diffusion-based methods are substantial, often necessitating large-scale paired datasets for training, and therefore challenging the deployment in practical applications. This study addresses this challenge by breaking down the text-based video editing process into two separate stages. In the first stage, we leverage an existing text-to-image diffusion model to simultaneously edit a few keyframes without additional fine-tuning. In the second stage, we introduce an efficient model called MaskINT, which is built on non-autoregressive masked generative transformers and specializes in frame interpolation between the keyframes, benefiting from structural guidance provided by intermediate frames. Our comprehensive set of experiments illustrates the efficacy and efficiency of MaskINT when compared to other diffusion-based methodologies. This research offers a practical solution for text-based video editing and showcases the potential of non-autoregressive masked generative transformers in this domain.