TrailBlazer: Controle de Trajetória para Geração de Vídeos Baseada em Difusão

TrailBlazer: Trajectory Control for Diffusion-Based Video Generation

December 31, 2023

Autores: Wan-Duo Kurt Ma, J. P. Lewis, W. Bastiaan Kleijn

cs.AI

Resumo

Dentro das abordagens recentes para geração de texto para vídeo (T2V), alcançar controlabilidade no vídeo sintetizado é frequentemente um desafio. Normalmente, esse problema é abordado fornecendo orientações de baixo nível por quadro na forma de mapas de borda, mapas de profundidade ou um vídeo existente a ser alterado. No entanto, o processo de obtenção de tais orientações pode ser trabalhoso. Este artigo foca em aprimorar a controlabilidade na síntese de vídeo empregando caixas delimitadoras simples para guiar o sujeito de várias maneiras, tudo sem a necessidade de treinamento de redes neurais, ajuste fino, otimização no momento da inferência ou o uso de vídeos pré-existentes. Nosso algoritmo, TrailBlazer, é construído sobre um modelo T2V pré-treinado e é fácil de implementar. O sujeito é direcionado por uma caixa delimitadora através da edição proposta de mapas de atenção espacial e temporal. Além disso, introduzimos o conceito de keyframing, permitindo que a trajetória do sujeito e a aparência geral sejam guiadas tanto por uma caixa delimitadora móvel quanto por prompts correspondentes, sem a necessidade de fornecer uma máscara detalhada. O método é eficiente, com computação adicional insignificante em relação ao modelo pré-treinado subjacente. Apesar da simplicidade da orientação por caixa delimitadora, o movimento resultante é surpreendentemente natural, com efeitos emergentes incluindo perspectiva e movimento em direção à câmera virtual à medida que o tamanho da caixa aumenta.

English

Within recent approaches to text-to-video (T2V) generation, achieving controllability in the synthesized video is often a challenge. Typically, this issue is addressed by providing low-level per-frame guidance in the form of edge maps, depth maps, or an existing video to be altered. However, the process of obtaining such guidance can be labor-intensive. This paper focuses on enhancing controllability in video synthesis by employing straightforward bounding boxes to guide the subject in various ways, all without the need for neural network training, finetuning, optimization at inference time, or the use of pre-existing videos. Our algorithm, TrailBlazer, is constructed upon a pre-trained (T2V) model, and easy to implement. The subject is directed by a bounding box through the proposed spatial and temporal attention map editing. Moreover, we introduce the concept of keyframing, allowing the subject trajectory and overall appearance to be guided by both a moving bounding box and corresponding prompts, without the need to provide a detailed mask. The method is efficient, with negligible additional computation relative to the underlying pre-trained model. Despite the simplicity of the bounding box guidance, the resulting motion is surprisingly natural, with emergent effects including perspective and movement toward the virtual camera as the box size increases.