Boximator: ビデオ合成のための豊かで制御可能なモーション生成

要旨

リッチで制御可能なモーションの生成は、ビデオ合成における重要な課題です。本論文では、細粒度のモーション制御を実現する新しいアプローチであるBoximatorを提案します。Boximatorは、ハードボックスとソフトボックスの2種類の制約を導入します。ユーザーは条件フレーム内のオブジェクトをハードボックスで選択し、その後、どちらかのタイプのボックスを使用して、将来のフレームにおけるオブジェクトの位置、形状、またはモーションパスを大まかにまたは厳密に定義します。Boximatorは、既存のビデオ拡散モデルのプラグインとして機能します。そのトレーニングプロセスでは、元の重みを凍結し、制御モジュールのみをトレーニングすることで、ベースモデルの知識を保持します。トレーニングの課題に対処するため、ボックスとオブジェクトの相関関係の学習を大幅に簡素化する新しいセルフトラッキング技術を導入します。実験的に、Boximatorは2つのベースモデルを上回る最先端のビデオ品質（FVD）スコアを達成し、ボックス制約を組み込むことでさらに向上します。その堅牢なモーション制御性は、バウンディングボックスのアライメントメトリックの大幅な向上によって検証されています。人間による評価でも、ユーザーはベースモデルよりもBoximatorの生成結果を好むことが示されています。

English

Generating rich and controllable motion is a pivotal challenge in video synthesis. We propose Boximator, a new approach for fine-grained motion control. Boximator introduces two constraint types: hard box and soft box. Users select objects in the conditional frame using hard boxes and then use either type of boxes to roughly or rigorously define the object's position, shape, or motion path in future frames. Boximator functions as a plug-in for existing video diffusion models. Its training process preserves the base model's knowledge by freezing the original weights and training only the control module. To address training challenges, we introduce a novel self-tracking technique that greatly simplifies the learning of box-object correlations. Empirically, Boximator achieves state-of-the-art video quality (FVD) scores, improving on two base models, and further enhanced after incorporating box constraints. Its robust motion controllability is validated by drastic increases in the bounding box alignment metric. Human evaluation also shows that users favor Boximator generation results over the base model.

Boximator: ビデオ合成のための豊かで制御可能なモーション生成

Boximator: Generating Rich and Controllable Motions for Video Synthesis

要旨

Support