TrailBlazer: Control de trayectoria para la generación de videos basada en difusión

TrailBlazer: Trajectory Control for Diffusion-Based Video Generation

December 31, 2023

Autores: Wan-Duo Kurt Ma, J. P. Lewis, W. Bastiaan Kleijn

cs.AI

Resumen

En los enfoques recientes para la generación de texto a video (T2V), lograr controlabilidad en el video sintetizado suele ser un desafío. Normalmente, este problema se aborda proporcionando guías de bajo nivel por fotograma en forma de mapas de bordes, mapas de profundidad o un video existente que se desea modificar. Sin embargo, el proceso de obtener dichas guías puede ser laborioso. Este artículo se centra en mejorar la controlabilidad en la síntesis de video mediante el uso de simples cuadros delimitadores para guiar al sujeto de diversas maneras, todo sin necesidad de entrenamiento de redes neuronales, ajuste fino, optimización en tiempo de inferencia o el uso de videos preexistentes. Nuestro algoritmo, TrailBlazer, está construido sobre un modelo T2V preentrenado y es fácil de implementar. El sujeto es dirigido por un cuadro delimitador a través de la edición propuesta de mapas de atención espacial y temporal. Además, introducimos el concepto de fotogramas clave, permitiendo que la trayectoria del sujeto y su apariencia general sean guiadas tanto por un cuadro delimitador en movimiento como por indicaciones textuales correspondientes, sin necesidad de proporcionar una máscara detallada. El método es eficiente, con un cálculo adicional insignificante en relación con el modelo preentrenado subyacente. A pesar de la simplicidad de la guía mediante cuadros delimitadores, el movimiento resultante es sorprendentemente natural, con efectos emergentes que incluyen perspectiva y movimiento hacia la cámara virtual a medida que aumenta el tamaño del cuadro.

English

Within recent approaches to text-to-video (T2V) generation, achieving controllability in the synthesized video is often a challenge. Typically, this issue is addressed by providing low-level per-frame guidance in the form of edge maps, depth maps, or an existing video to be altered. However, the process of obtaining such guidance can be labor-intensive. This paper focuses on enhancing controllability in video synthesis by employing straightforward bounding boxes to guide the subject in various ways, all without the need for neural network training, finetuning, optimization at inference time, or the use of pre-existing videos. Our algorithm, TrailBlazer, is constructed upon a pre-trained (T2V) model, and easy to implement. The subject is directed by a bounding box through the proposed spatial and temporal attention map editing. Moreover, we introduce the concept of keyframing, allowing the subject trajectory and overall appearance to be guided by both a moving bounding box and corresponding prompts, without the need to provide a detailed mask. The method is efficient, with negligible additional computation relative to the underlying pre-trained model. Despite the simplicity of the bounding box guidance, the resulting motion is surprisingly natural, with emergent effects including perspective and movement toward the virtual camera as the box size increases.