MaskINT: Edición de video mediante transformadores enmascarados interpolativos no autoregresivos

MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers

December 19, 2023

Autores: Haoyu Ma, Shahin Mahdizadehaghdam, Bichen Wu, Zhipeng Fan, Yuchao Gu, Wenliang Zhao, Lior Shapira, Xiaohui Xie

cs.AI

Resumen

Los recientes avances en IA generativa han mejorado significativamente la edición de imágenes y videos, particularmente en el contexto del control mediante indicaciones de texto. Los enfoques de vanguardia se basan predominantemente en modelos de difusión para realizar estas tareas. Sin embargo, las demandas computacionales de los métodos basados en difusión son sustanciales, a menudo requiriendo grandes conjuntos de datos emparejados para el entrenamiento, lo que dificulta su implementación en aplicaciones prácticas. Este estudio aborda este desafío descomponiendo el proceso de edición de videos basado en texto en dos etapas separadas. En la primera etapa, aprovechamos un modelo existente de difusión de texto a imagen para editar simultáneamente algunos fotogramas clave sin necesidad de ajustes adicionales. En la segunda etapa, introducimos un modelo eficiente llamado MaskINT, basado en transformadores generativos enmascarados no autoregresivos, que se especializa en la interpolación de fotogramas entre los fotogramas clave, beneficiándose de la guía estructural proporcionada por fotogramas intermedios. Nuestro conjunto exhaustivo de experimentos ilustra la eficacia y eficiencia de MaskINT en comparación con otras metodologías basadas en difusión. Esta investigación ofrece una solución práctica para la edición de videos basada en texto y muestra el potencial de los transformadores generativos enmascarados no autoregresivos en este dominio.

English

Recent advances in generative AI have significantly enhanced image and video editing, particularly in the context of text prompt control. State-of-the-art approaches predominantly rely on diffusion models to accomplish these tasks. However, the computational demands of diffusion-based methods are substantial, often necessitating large-scale paired datasets for training, and therefore challenging the deployment in practical applications. This study addresses this challenge by breaking down the text-based video editing process into two separate stages. In the first stage, we leverage an existing text-to-image diffusion model to simultaneously edit a few keyframes without additional fine-tuning. In the second stage, we introduce an efficient model called MaskINT, which is built on non-autoregressive masked generative transformers and specializes in frame interpolation between the keyframes, benefiting from structural guidance provided by intermediate frames. Our comprehensive set of experiments illustrates the efficacy and efficiency of MaskINT when compared to other diffusion-based methodologies. This research offers a practical solution for text-based video editing and showcases the potential of non-autoregressive masked generative transformers in this domain.