TrailBlazer : Contrôle de trajectoire pour la génération vidéo basée sur la diffusion

TrailBlazer: Trajectory Control for Diffusion-Based Video Generation

December 31, 2023

Auteurs: Wan-Duo Kurt Ma, J. P. Lewis, W. Bastiaan Kleijn

cs.AI

Résumé

Dans les approches récentes de génération de texte-à-vidéo (T2V), la maîtrise de la vidéo synthétisée constitue souvent un défi. Ce problème est généralement résolu en fournissant des indications de bas niveau par image, sous forme de cartes de contours, de cartes de profondeur ou d'une vidéo existante à modifier. Cependant, l'obtention de telles indications peut s'avérer laborieuse. Cet article se concentre sur l'amélioration de la maîtrise dans la synthèse vidéo en utilisant des boîtes englobantes simples pour guider le sujet de diverses manières, sans nécessiter d'entraînement de réseau neuronal, de réglage fin, d'optimisation au moment de l'inférence ou l'utilisation de vidéos préexistantes. Notre algorithme, TrailBlazer, est construit sur un modèle T2V pré-entraîné et facile à implémenter. Le sujet est dirigé par une boîte englobante grâce à la modification proposée des cartes d'attention spatiale et temporelle. De plus, nous introduisons le concept de keyframing, permettant de guider la trajectoire du sujet et son apparence globale à la fois par une boîte englobante mobile et des prompts correspondants, sans nécessiter de masque détaillé. La méthode est efficace, avec un calcul supplémentaire négligeable par rapport au modèle pré-entraîné sous-jacent. Malgré la simplicité de la guidance par boîte englobante, le mouvement résultant est étonnamment naturel, avec des effets émergents incluant la perspective et le mouvement vers la caméra virtuelle à mesure que la taille de la boîte augmente.

English

Within recent approaches to text-to-video (T2V) generation, achieving controllability in the synthesized video is often a challenge. Typically, this issue is addressed by providing low-level per-frame guidance in the form of edge maps, depth maps, or an existing video to be altered. However, the process of obtaining such guidance can be labor-intensive. This paper focuses on enhancing controllability in video synthesis by employing straightforward bounding boxes to guide the subject in various ways, all without the need for neural network training, finetuning, optimization at inference time, or the use of pre-existing videos. Our algorithm, TrailBlazer, is constructed upon a pre-trained (T2V) model, and easy to implement. The subject is directed by a bounding box through the proposed spatial and temporal attention map editing. Moreover, we introduce the concept of keyframing, allowing the subject trajectory and overall appearance to be guided by both a moving bounding box and corresponding prompts, without the need to provide a detailed mask. The method is efficient, with negligible additional computation relative to the underlying pre-trained model. Despite the simplicity of the bounding box guidance, the resulting motion is surprisingly natural, with emergent effects including perspective and movement toward the virtual camera as the box size increases.