TrailBlazer: Controllo della Traiettoria per la Generazione di Video Basata su Diffusione

TrailBlazer: Trajectory Control for Diffusion-Based Video Generation

December 31, 2023

Autori: Wan-Duo Kurt Ma, J. P. Lewis, W. Bastiaan Kleijn

cs.AI

Abstract

All'interno degli approcci recenti alla generazione testo-video (T2V), ottenere controllabilità nel video sintetizzato rappresenta spesso una sfida. Tipicamente, questo problema viene affrontato fornendo una guida a basso livello per fotogramma sotto forma di mappe dei bordi, mappe di profondità o un video esistente da modificare. Tuttavia, il processo per ottenere tale guida può essere laborioso. Questo articolo si concentra sul miglioramento della controllabilità nella sintesi video utilizzando semplici bounding box per guidare il soggetto in vari modi, tutto senza la necessità di addestramento di reti neurali, fine-tuning, ottimizzazione al momento dell'inferenza o l'uso di video preesistenti. Il nostro algoritmo, TrailBlazer, è costruito su un modello T2V pre-addestrato ed è facile da implementare. Il soggetto viene diretto da una bounding box attraverso la modifica proposta delle mappe di attenzione spaziale e temporale. Inoltre, introduciamo il concetto di keyframing, che consente di guidare la traiettoria del soggetto e l'aspetto complessivo sia attraverso una bounding box in movimento che tramite prompt corrispondenti, senza la necessità di fornire una maschera dettagliata. Il metodo è efficiente, con un calcolo aggiuntivo trascurabile rispetto al modello pre-addestrato sottostante. Nonostante la semplicità della guida tramite bounding box, il movimento risultante è sorprendentemente naturale, con effetti emergenti che includono la prospettiva e il movimento verso la telecamera virtuale man mano che le dimensioni della box aumentano.

English

Within recent approaches to text-to-video (T2V) generation, achieving controllability in the synthesized video is often a challenge. Typically, this issue is addressed by providing low-level per-frame guidance in the form of edge maps, depth maps, or an existing video to be altered. However, the process of obtaining such guidance can be labor-intensive. This paper focuses on enhancing controllability in video synthesis by employing straightforward bounding boxes to guide the subject in various ways, all without the need for neural network training, finetuning, optimization at inference time, or the use of pre-existing videos. Our algorithm, TrailBlazer, is constructed upon a pre-trained (T2V) model, and easy to implement. The subject is directed by a bounding box through the proposed spatial and temporal attention map editing. Moreover, we introduce the concept of keyframing, allowing the subject trajectory and overall appearance to be guided by both a moving bounding box and corresponding prompts, without the need to provide a detailed mask. The method is efficient, with negligible additional computation relative to the underlying pre-trained model. Despite the simplicity of the bounding box guidance, the resulting motion is surprisingly natural, with emergent effects including perspective and movement toward the virtual camera as the box size increases.