TrailBlazer：拡散モデルに基づく動画生成のための軌道制御

TrailBlazer: Trajectory Control for Diffusion-Based Video Generation

December 31, 2023

著者: Wan-Duo Kurt Ma, J. P. Lewis, W. Bastiaan Kleijn

cs.AI

要旨

最近のテキストからビデオ（T2V）生成のアプローチにおいて、合成されたビデオの制御性を実現することはしばしば課題となっています。通常、この問題は、エッジマップ、深度マップ、または変更する既存のビデオといった低レベルのフレームごとのガイダンスを提供することで対処されます。しかし、そのようなガイダンスを取得するプロセスは労力を要する場合があります。本論文では、ニューラルネットワークのトレーニング、ファインチューニング、推論時の最適化、または既存のビデオの使用を必要とせずに、単純なバウンディングボックスを使用してさまざまな方法で被写体をガイドすることで、ビデオ合成における制御性を向上させることに焦点を当てています。私たちのアルゴリズム、TrailBlazerは、事前にトレーニングされた（T2V）モデルに基づいて構築されており、実装が容易です。被写体は、提案された空間的および時間的アテンションマップ編集を通じてバウンディングボックスによって導かれます。さらに、キーフレームの概念を導入し、詳細なマスクを提供する必要なく、移動するバウンディングボックスと対応するプロンプトによって被写体の軌跡と全体的な外観をガイドできるようにしています。この方法は効率的であり、基盤となる事前トレーニング済みモデルに対して無視できる程度の追加計算しか必要としません。バウンディングボックスガイダンスの単純さにもかかわらず、結果として得られる動きは驚くほど自然で、ボックスのサイズが大きくなるにつれて視点や仮想カメラへの移動といった効果が現れます。

English

Within recent approaches to text-to-video (T2V) generation, achieving controllability in the synthesized video is often a challenge. Typically, this issue is addressed by providing low-level per-frame guidance in the form of edge maps, depth maps, or an existing video to be altered. However, the process of obtaining such guidance can be labor-intensive. This paper focuses on enhancing controllability in video synthesis by employing straightforward bounding boxes to guide the subject in various ways, all without the need for neural network training, finetuning, optimization at inference time, or the use of pre-existing videos. Our algorithm, TrailBlazer, is constructed upon a pre-trained (T2V) model, and easy to implement. The subject is directed by a bounding box through the proposed spatial and temporal attention map editing. Moreover, we introduce the concept of keyframing, allowing the subject trajectory and overall appearance to be guided by both a moving bounding box and corresponding prompts, without the need to provide a detailed mask. The method is efficient, with negligible additional computation relative to the underlying pre-trained model. Despite the simplicity of the bounding box guidance, the resulting motion is surprisingly natural, with emergent effects including perspective and movement toward the virtual camera as the box size increases.