TrailBlazer: Trajektoriensteuerung für diffusionsbasierte Videogenerierung

TrailBlazer: Trajectory Control for Diffusion-Based Video Generation

December 31, 2023

Autoren: Wan-Duo Kurt Ma, J. P. Lewis, W. Bastiaan Kleijn

cs.AI

Zusammenfassung

In aktuellen Ansätzen zur Text-zu-Video (T2V)-Generierung stellt die Erzielung von Kontrollierbarkeit in den synthetisierten Videos oft eine Herausforderung dar. Typischerweise wird dieses Problem durch die Bereitstellung von Low-Level-Pro-Frame-Anleitungen in Form von Kantenkarten, Tiefenkarten oder eines bestehenden Videos, das verändert werden soll, angegangen. Der Prozess der Beschaffung solcher Anleitungen kann jedoch arbeitsintensiv sein. Dieser Artikel konzentriert sich darauf, die Kontrollierbarkeit in der Videosynthese zu verbessern, indem einfache Begrenzungsrahmen verwendet werden, um das Subjekt auf verschiedene Arten zu lenken, und dies ohne die Notwendigkeit von Training, Feinabstimmung oder Optimierung neuronaler Netze zur Inferenzzeit oder die Verwendung von bestehenden Videos. Unser Algorithmus, TrailBlazer, basiert auf einem vortrainierten (T2V)-Modell und ist einfach zu implementieren. Das Subjekt wird durch einen Begrenzungsrahmen mittels der vorgeschlagenen räumlichen und zeitlichen Aufmerksamkeitskartenbearbeitung gelenkt. Darüber hinaus führen wir das Konzept des Keyframings ein, das es ermöglicht, die Subjekttrajektorie und das Gesamterscheinungsbild sowohl durch einen sich bewegenden Begrenzungsrahmen als auch durch entsprechende Prompts zu lenken, ohne dass eine detaillierte Maske bereitgestellt werden muss. Die Methode ist effizient, mit vernachlässigbarer zusätzlicher Berechnung im Vergleich zum zugrunde liegenden vortrainierten Modell. Trotz der Einfachheit der Begrenzungsrahmenführung ist die resultierende Bewegung überraschend natürlich, mit auftretenden Effekten wie Perspektive und Bewegung in Richtung der virtuellen Kamera, wenn die Rahmengröße zunimmt.

English

Within recent approaches to text-to-video (T2V) generation, achieving controllability in the synthesized video is often a challenge. Typically, this issue is addressed by providing low-level per-frame guidance in the form of edge maps, depth maps, or an existing video to be altered. However, the process of obtaining such guidance can be labor-intensive. This paper focuses on enhancing controllability in video synthesis by employing straightforward bounding boxes to guide the subject in various ways, all without the need for neural network training, finetuning, optimization at inference time, or the use of pre-existing videos. Our algorithm, TrailBlazer, is constructed upon a pre-trained (T2V) model, and easy to implement. The subject is directed by a bounding box through the proposed spatial and temporal attention map editing. Moreover, we introduce the concept of keyframing, allowing the subject trajectory and overall appearance to be guided by both a moving bounding box and corresponding prompts, without the need to provide a detailed mask. The method is efficient, with negligible additional computation relative to the underlying pre-trained model. Despite the simplicity of the bounding box guidance, the resulting motion is surprisingly natural, with emergent effects including perspective and movement toward the virtual camera as the box size increases.