ChatPaper.aiChatPaper

PEEKABOO: Interaktive Videogenerierung mittels Maskierter Diffusion

PEEKABOO: Interactive Video Generation via Masked-Diffusion

December 12, 2023
Autoren: Yash Jain, Anshul Nasery, Vibhav Vineet, Harkirat Behl
cs.AI

Zusammenfassung

In jüngster Zeit gab es erhebliche Fortschritte in der Text-zu-Video-Generierung, wobei state-of-the-art Modelle in der Lage sind, hochwertige, realistische Videos zu erzeugen. Allerdings fehlt diesen Modellen die Fähigkeit, Nutzern eine interaktive Steuerung und Generierung von Videos zu ermöglichen, was potenziell neue Anwendungsbereiche erschließen könnte. Als ersten Schritt in Richtung dieses Ziels widmen wir uns dem Problem, diffusionsbasierte Video-Generierungsmodelle mit interaktiver räumlich-zeitlicher Kontrolle über ihre Ausgabe auszustatten. Dazu lassen wir uns von den jüngsten Fortschritten in der Segmentierungsforschung inspirieren und schlagen ein neuartiges räumlich-zeitliches Masked-Attention-Modul vor – Peekaboo. Dieses Modul ist eine trainingsfreie, inferenzüberkopf-freie Ergänzung zu Standard-Video-Generierungsmodellen, die eine räumlich-zeitliche Steuerung ermöglicht. Wir schlagen außerdem einen Evaluierungsbenchmark für die Aufgabe der interaktiven Video-Generierung vor. Durch umfangreiche qualitative und quantitative Bewertungen zeigen wir, dass Peekaboo die kontrollierte Video-Generierung ermöglicht und sogar eine Steigerung von bis zu 3,8x im mIoU gegenüber Baseline-Modellen erzielt.
English
Recently there has been a lot of progress in text-to-video generation, with state-of-the-art models being capable of generating high quality, realistic videos. However, these models lack the capability for users to interactively control and generate videos, which can potentially unlock new areas of application. As a first step towards this goal, we tackle the problem of endowing diffusion-based video generation models with interactive spatio-temporal control over their output. To this end, we take inspiration from the recent advances in segmentation literature to propose a novel spatio-temporal masked attention module - Peekaboo. This module is a training-free, no-inference-overhead addition to off-the-shelf video generation models which enables spatio-temporal control. We also propose an evaluation benchmark for the interactive video generation task. Through extensive qualitative and quantitative evaluation, we establish that Peekaboo enables control video generation and even obtains a gain of upto 3.8x in mIoU over baseline models.
PDF121December 15, 2024