PEEKABOO: Generazione Interattiva di Video tramite Diffusione Maschera

PEEKABOO: Interactive Video Generation via Masked-Diffusion

December 12, 2023

Autori: Yash Jain, Anshul Nasery, Vibhav Vineet, Harkirat Behl

cs.AI

Abstract

Recentemente sono stati compiuti notevoli progressi nella generazione di video da testo, con modelli all'avanguardia in grado di produrre video di alta qualità e realistici. Tuttavia, questi modelli non consentono agli utenti di controllare e generare video in modo interattivo, una capacità che potrebbe aprire nuove aree di applicazione. Come primo passo verso questo obiettivo, affrontiamo il problema di dotare i modelli di generazione video basati su diffusione di un controllo spazio-temporale interattivo sul loro output. A tal fine, traiamo ispirazione dai recenti progressi nella letteratura sulla segmentazione per proporre un nuovo modulo di attenzione mascherata spazio-temporale: Peekaboo. Questo modulo è un'aggiunta priva di overhead durante l'inferenza e non richiede addestramento ai modelli di generazione video esistenti, consentendo il controllo spazio-temporale. Proponiamo inoltre un benchmark di valutazione per il compito di generazione video interattiva. Attraverso un'ampia valutazione qualitativa e quantitativa, dimostriamo che Peekaboo abilita la generazione di video controllati e ottiene un miglioramento fino a 3,8x in mIoU rispetto ai modelli di base.

English

Recently there has been a lot of progress in text-to-video generation, with state-of-the-art models being capable of generating high quality, realistic videos. However, these models lack the capability for users to interactively control and generate videos, which can potentially unlock new areas of application. As a first step towards this goal, we tackle the problem of endowing diffusion-based video generation models with interactive spatio-temporal control over their output. To this end, we take inspiration from the recent advances in segmentation literature to propose a novel spatio-temporal masked attention module - Peekaboo. This module is a training-free, no-inference-overhead addition to off-the-shelf video generation models which enables spatio-temporal control. We also propose an evaluation benchmark for the interactive video generation task. Through extensive qualitative and quantitative evaluation, we establish that Peekaboo enables control video generation and even obtains a gain of upto 3.8x in mIoU over baseline models.