PEEKABOO: Geração Interativa de Vídeo via Difusão com Máscara

PEEKABOO: Interactive Video Generation via Masked-Diffusion

December 12, 2023

Autores: Yash Jain, Anshul Nasery, Vibhav Vineet, Harkirat Behl

cs.AI

Resumo

Recentemente, houve um progresso significativo na geração de vídeos a partir de texto, com modelos de última geração sendo capazes de produzir vídeos de alta qualidade e realistas. No entanto, esses modelos não permitem que os usuários controlem e gerem vídeos de forma interativa, o que poderia desbloquear novas áreas de aplicação. Como um primeiro passo em direção a esse objetivo, abordamos o problema de dotar modelos de geração de vídeos baseados em difusão com controle espaço-temporal interativo sobre sua saída. Para isso, nos inspiramos nos avanços recentes na literatura de segmentação para propor um novo módulo de atenção mascarada espaço-temporal - Peekaboo. Este módulo é uma adição sem custo de treinamento e sem sobrecarga de inferência a modelos de geração de vídeos prontos para uso, que permite o controle espaço-temporal. Também propomos um benchmark de avaliação para a tarefa de geração de vídeos interativos. Por meio de uma extensa avaliação qualitativa e quantitativa, demonstramos que o Peekaboo possibilita a geração de vídeos controlados e até obtém um ganho de até 3,8x em mIoU em relação aos modelos de base.

English

Recently there has been a lot of progress in text-to-video generation, with state-of-the-art models being capable of generating high quality, realistic videos. However, these models lack the capability for users to interactively control and generate videos, which can potentially unlock new areas of application. As a first step towards this goal, we tackle the problem of endowing diffusion-based video generation models with interactive spatio-temporal control over their output. To this end, we take inspiration from the recent advances in segmentation literature to propose a novel spatio-temporal masked attention module - Peekaboo. This module is a training-free, no-inference-overhead addition to off-the-shelf video generation models which enables spatio-temporal control. We also propose an evaluation benchmark for the interactive video generation task. Through extensive qualitative and quantitative evaluation, we establish that Peekaboo enables control video generation and even obtains a gain of upto 3.8x in mIoU over baseline models.