MaskINT: Videobearbeitung durch interpolative nicht-autoregressive maskierte Transformer

MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers

December 19, 2023

Autoren: Haoyu Ma, Shahin Mahdizadehaghdam, Bichen Wu, Zhipeng Fan, Yuchao Gu, Wenliang Zhao, Lior Shapira, Xiaohui Xie

cs.AI

Zusammenfassung

Jüngste Fortschritte in der generativen KI haben die Bild- und Videobearbeitung erheblich verbessert, insbesondere im Kontext der Textprompt-Steuerung. State-of-the-Art-Ansätze stützen sich überwiegend auf Diffusionsmodelle, um diese Aufgaben zu bewältigen. Die rechenintensiven Anforderungen diffusionsbasierter Methoden sind jedoch erheblich und erfordern oft umfangreiche gepaarte Datensätze für das Training, was die praktische Anwendung erschwert. Diese Studie geht diese Herausforderung an, indem sie den textbasierten Videobearbeitungsprozess in zwei separate Phasen unterteilt. In der ersten Phase nutzen wir ein bestehendes Text-zu-Bild-Diffusionsmodell, um gleichzeitig einige Schlüsselbilder ohne zusätzliches Fine-Tuning zu bearbeiten. In der zweiten Phase führen wir ein effizientes Modell namens MaskINT ein, das auf nicht-autoregressiven maskierten generativen Transformatoren basiert und sich auf die Interpolation von Bildern zwischen den Schlüsselbildern spezialisiert, wobei es von der strukturellen Führung durch Zwischenbilder profitiert. Unsere umfassenden Experimente zeigen die Wirksamkeit und Effizienz von MaskINT im Vergleich zu anderen diffusionsbasierten Methoden. Diese Forschung bietet eine praktische Lösung für die textbasierte Videobearbeitung und demonstriert das Potenzial nicht-autoregressiver maskierter generativer Transformatoren in diesem Bereich.

English

Recent advances in generative AI have significantly enhanced image and video editing, particularly in the context of text prompt control. State-of-the-art approaches predominantly rely on diffusion models to accomplish these tasks. However, the computational demands of diffusion-based methods are substantial, often necessitating large-scale paired datasets for training, and therefore challenging the deployment in practical applications. This study addresses this challenge by breaking down the text-based video editing process into two separate stages. In the first stage, we leverage an existing text-to-image diffusion model to simultaneously edit a few keyframes without additional fine-tuning. In the second stage, we introduce an efficient model called MaskINT, which is built on non-autoregressive masked generative transformers and specializes in frame interpolation between the keyframes, benefiting from structural guidance provided by intermediate frames. Our comprehensive set of experiments illustrates the efficacy and efficiency of MaskINT when compared to other diffusion-based methodologies. This research offers a practical solution for text-based video editing and showcases the potential of non-autoregressive masked generative transformers in this domain.