PEEKABOO : Génération interactive de vidéos via diffusion masquée

PEEKABOO: Interactive Video Generation via Masked-Diffusion

December 12, 2023

Auteurs: Yash Jain, Anshul Nasery, Vibhav Vineet, Harkirat Behl

cs.AI

Résumé

Récemment, des progrès significatifs ont été réalisés dans le domaine de la génération de texte à vidéo, les modèles de pointe étant capables de produire des vidéos de haute qualité et réalistes. Cependant, ces modèles ne permettent pas aux utilisateurs de contrôler et de générer des vidéos de manière interactive, ce qui pourrait ouvrir de nouveaux domaines d'application. Dans un premier pas vers cet objectif, nous abordons le problème de doter les modèles de génération de vidéos basés sur la diffusion d'un contrôle spatio-temporel interactif sur leur sortie. Pour ce faire, nous nous inspirons des avancées récentes dans la littérature sur la segmentation pour proposer un nouveau module d'attention masquée spatio-temporelle - Peekaboo. Ce module, qui ne nécessite pas d'entraînement supplémentaire et n'ajoute aucune surcharge lors de l'inférence, peut être intégré à des modèles de génération de vidéos existants pour permettre un contrôle spatio-temporel. Nous proposons également un benchmark d'évaluation pour la tâche de génération de vidéos interactives. Grâce à une évaluation qualitative et quantitative approfondie, nous démontrons que Peekaboo permet un contrôle efficace de la génération de vidéos et obtient même un gain allant jusqu'à 3,8x en mIoU par rapport aux modèles de référence.

English

Recently there has been a lot of progress in text-to-video generation, with state-of-the-art models being capable of generating high quality, realistic videos. However, these models lack the capability for users to interactively control and generate videos, which can potentially unlock new areas of application. As a first step towards this goal, we tackle the problem of endowing diffusion-based video generation models with interactive spatio-temporal control over their output. To this end, we take inspiration from the recent advances in segmentation literature to propose a novel spatio-temporal masked attention module - Peekaboo. This module is a training-free, no-inference-overhead addition to off-the-shelf video generation models which enables spatio-temporal control. We also propose an evaluation benchmark for the interactive video generation task. Through extensive qualitative and quantitative evaluation, we establish that Peekaboo enables control video generation and even obtains a gain of upto 3.8x in mIoU over baseline models.