PEEKABOO: Interactieve Videogeneratie via Gemaskeerde Diffusie

PEEKABOO: Interactive Video Generation via Masked-Diffusion

December 12, 2023

Auteurs: Yash Jain, Anshul Nasery, Vibhav Vineet, Harkirat Behl

cs.AI

Samenvatting

Er is recentelijk veel vooruitgang geboekt op het gebied van tekst-naar-video-generatie, waarbij state-of-the-art modellen in staat zijn hoogwaardige, realistische video's te genereren. Deze modellen missen echter de mogelijkheid voor gebruikers om interactief controle uit te oefenen en video's te genereren, wat potentieel nieuwe toepassingsgebieden kan ontsluiten. Als eerste stap naar dit doel pakken we het probleem aan om op diffusie gebaseerde videogeneratiemodellen uit te rusten met interactieve spatio-temporele controle over hun output. Hiervoor putten we inspiratie uit recente vooruitgang in de segmentatieliteratuur om een nieuwe spatio-temporele gemaskeerde aandachtmodule voor te stellen - Peekaboo. Deze module is een toevoeging zonder trainings- of inferentie-overhead aan standaard videogeneratiemodellen, die spatio-temporele controle mogelijk maakt. We stellen ook een evaluatiebenchmark voor voor de taak van interactieve videogeneratie. Door uitgebreide kwalitatieve en kwantitatieve evaluatie tonen we aan dat Peekaboo gecontroleerde videogeneratie mogelijk maakt en zelfs een verbetering van tot 3,8x in mIoU behaalt ten opzichte van baseline-modellen.

English

Recently there has been a lot of progress in text-to-video generation, with state-of-the-art models being capable of generating high quality, realistic videos. However, these models lack the capability for users to interactively control and generate videos, which can potentially unlock new areas of application. As a first step towards this goal, we tackle the problem of endowing diffusion-based video generation models with interactive spatio-temporal control over their output. To this end, we take inspiration from the recent advances in segmentation literature to propose a novel spatio-temporal masked attention module - Peekaboo. This module is a training-free, no-inference-overhead addition to off-the-shelf video generation models which enables spatio-temporal control. We also propose an evaluation benchmark for the interactive video generation task. Through extensive qualitative and quantitative evaluation, we establish that Peekaboo enables control video generation and even obtains a gain of upto 3.8x in mIoU over baseline models.