PEEKABOO: Интерактивная генерация видео с использованием маскированной диффузии

PEEKABOO: Interactive Video Generation via Masked-Diffusion

December 12, 2023

Авторы: Yash Jain, Anshul Nasery, Vibhav Vineet, Harkirat Behl

cs.AI

Аннотация

В последнее время наблюдается значительный прогресс в области генерации видео из текста, где современные модели способны создавать высококачественные и реалистичные видеоролики. Однако эти модели не предоставляют пользователям возможности интерактивного управления и генерации видео, что могло бы открыть новые области применения. В качестве первого шага к этой цели мы решаем задачу наделения моделей генерации видео на основе диффузии интерактивным пространственно-временным контролем над их выходными данными. Вдохновляясь последними достижениями в области сегментации, мы предлагаем новый модуль пространственно-временного маскированного внимания — Peekaboo. Этот модуль представляет собой дополнение к готовым моделям генерации видео, не требующее дополнительного обучения и не увеличивающее вычислительные затраты на этапе вывода, что позволяет осуществлять пространственно-временной контроль. Мы также предлагаем эталонный набор для оценки задачи интерактивной генерации видео. Благодаря обширной качественной и количественной оценке мы демонстрируем, что Peekaboo обеспечивает управляемую генерацию видео и даже позволяет достичь улучшения в mIoU до 3.8 раз по сравнению с базовыми моделями.

English

Recently there has been a lot of progress in text-to-video generation, with state-of-the-art models being capable of generating high quality, realistic videos. However, these models lack the capability for users to interactively control and generate videos, which can potentially unlock new areas of application. As a first step towards this goal, we tackle the problem of endowing diffusion-based video generation models with interactive spatio-temporal control over their output. To this end, we take inspiration from the recent advances in segmentation literature to propose a novel spatio-temporal masked attention module - Peekaboo. This module is a training-free, no-inference-overhead addition to off-the-shelf video generation models which enables spatio-temporal control. We also propose an evaluation benchmark for the interactive video generation task. Through extensive qualitative and quantitative evaluation, we establish that Peekaboo enables control video generation and even obtains a gain of upto 3.8x in mIoU over baseline models.