ATI: 制御可能な動画生成のための任意軌道指示

要旨

我々は、軌道ベースの入力を用いてカメラの動き、オブジェクトレベルの移動、細かな局所的な動きをシームレスに統合する、ビデオ生成におけるモーション制御の統一フレームワークを提案する。従来の手法ではこれらのモーションタイプを別々のモジュールやタスク固有の設計で扱っていたのに対し、我々のアプローチは軽量なモーションインジェクターを介してユーザー定義の軌道を事前学習済みの画像-ビデオ生成モデルの潜在空間に投影することで、一貫した解決策を提供する。ユーザーはキーポイントとその動きのパスを指定することで、局所的な変形、オブジェクト全体の動き、仮想カメラのダイナミクス、またはこれらの組み合わせを制御できる。注入された軌道信号は、時間的に一貫性があり意味的に整合したモーションシーケンスを生成するよう生成プロセスを導く。我々のフレームワークは、スタイライズされたモーション効果（例：モーションブラシ）、動的な視点変更、精密な局所モーション操作など、複数のビデオモーション制御タスクにおいて優れた性能を示す。実験結果から、我々の手法は従来のアプローチや商用ソリューションと比較して、大幅に優れた制御性と視覚的品質を提供しつつ、様々な最先端のビデオ生成バックボーンと広く互換性があることが示された。プロジェクトページ: https://anytraj.github.io/。

English

We propose a unified framework for motion control in video generation that seamlessly integrates camera movement, object-level translation, and fine-grained local motion using trajectory-based inputs. In contrast to prior methods that address these motion types through separate modules or task-specific designs, our approach offers a cohesive solution by projecting user-defined trajectories into the latent space of pre-trained image-to-video generation models via a lightweight motion injector. Users can specify keypoints and their motion paths to control localized deformations, entire object motion, virtual camera dynamics, or combinations of these. The injected trajectory signals guide the generative process to produce temporally consistent and semantically aligned motion sequences. Our framework demonstrates superior performance across multiple video motion control tasks, including stylized motion effects (e.g., motion brushes), dynamic viewpoint changes, and precise local motion manipulation. Experiments show that our method provides significantly better controllability and visual quality compared to prior approaches and commercial solutions, while remaining broadly compatible with various state-of-the-art video generation backbones. Project page: https://anytraj.github.io/.

ATI: 制御可能な動画生成のための任意軌道指示

ATI: Any Trajectory Instruction for Controllable Video Generation

要旨

Support