TrailBlazer: Управление траекторией для генерации видео на основе диффузии

TrailBlazer: Trajectory Control for Diffusion-Based Video Generation

December 31, 2023

Авторы: Wan-Duo Kurt Ma, J. P. Lewis, W. Bastiaan Kleijn

cs.AI

Аннотация

В современных подходах к генерации видео из текста (Text-to-Video, T2V) достижение управляемости в синтезированном видео часто представляет собой сложную задачу. Обычно эта проблема решается путем предоставления низкоуровневых подсказок на уровне отдельных кадров в виде карт границ, карт глубины или существующего видео, которое требуется изменить. Однако процесс получения таких подсказок может быть трудоемким. В данной статье основное внимание уделяется повышению управляемости в синтезе видео с использованием простых ограничивающих рамок (bounding boxes) для направления объекта различными способами, при этом без необходимости обучения нейронной сети, дообучения, оптимизации на этапе вывода или использования предварительно существующих видео. Наш алгоритм, TrailBlazer, построен на основе предварительно обученной модели T2V и прост в реализации. Объект направляется ограничивающей рамкой через предложенное редактирование пространственных и временных карт внимания. Кроме того, мы вводим концепцию ключевых кадров (keyframing), позволяющую направлять траекторию объекта и его общий вид с помощью движущейся ограничивающей рамки и соответствующих текстовых подсказок, без необходимости предоставления детализированной маски. Метод является эффективным, с незначительными дополнительными вычислениями по сравнению с базовой предварительно обученной моделью. Несмотря на простоту управления с помощью ограничивающих рамок, результирующее движение оказывается удивительно естественным, с возникающими эффектами, включая перспективу и движение в сторону виртуальной камеры по мере увеличения размера рамки.

English

Within recent approaches to text-to-video (T2V) generation, achieving controllability in the synthesized video is often a challenge. Typically, this issue is addressed by providing low-level per-frame guidance in the form of edge maps, depth maps, or an existing video to be altered. However, the process of obtaining such guidance can be labor-intensive. This paper focuses on enhancing controllability in video synthesis by employing straightforward bounding boxes to guide the subject in various ways, all without the need for neural network training, finetuning, optimization at inference time, or the use of pre-existing videos. Our algorithm, TrailBlazer, is constructed upon a pre-trained (T2V) model, and easy to implement. The subject is directed by a bounding box through the proposed spatial and temporal attention map editing. Moreover, we introduce the concept of keyframing, allowing the subject trajectory and overall appearance to be guided by both a moving bounding box and corresponding prompts, without the need to provide a detailed mask. The method is efficient, with negligible additional computation relative to the underlying pre-trained model. Despite the simplicity of the bounding box guidance, the resulting motion is surprisingly natural, with emergent effects including perspective and movement toward the virtual camera as the box size increases.