Image Conductor: インタラクティブなビデオ合成のための精密制御

Image Conductor: Precision Control for Interactive Video Synthesis

June 21, 2024

著者: Yaowei Li, Xintao Wang, Zhaoyang Zhang, Zhouxia Wang, Ziyang Yuan, Liangbin Xie, Yuexian Zou, Ying Shan

cs.AI

要旨

映画制作やアニメーション制作では、カメラの遷移やオブジェクトの動きを調整するために高度な技術が必要であり、通常は労力を要する実世界での撮影が行われます。ビデオ生成のための生成AIが進歩しているにもかかわらず、インタラクティブなビデオアセット生成において動きを精密に制御することは依然として困難です。そこで我々は、単一の画像からビデオアセットを生成するために、カメラの遷移やオブジェクトの動きを精密に制御する方法である「Image Conductor」を提案します。カメラLoRA重みとオブジェクトLoRA重みを用いて、異なるカメラとオブジェクトの動きを分離するための洗練されたトレーニング戦略を提案します。さらに、不適切な軌道から生じる映画的なバリエーションに対処するため、推論中にカメラフリーガイダンス技術を導入し、カメラの遷移を排除しながらオブジェクトの動きを強化します。また、トレーニングのための軌道指向のビデオモーションデータキュレーションパイプラインを開発します。定量的および定性的な実験により、画像から動きを制御可能なビデオを生成する際の精度と細かい制御が実証され、インタラクティブなビデオ合成の実用的な応用が進展します。プロジェクトのウェブページはhttps://liyaowei-stu.github.io/project/ImageConductor/で公開されています。

English

Filmmaking and animation production often require sophisticated techniques for coordinating camera transitions and object movements, typically involving labor-intensive real-world capturing. Despite advancements in generative AI for video creation, achieving precise control over motion for interactive video asset generation remains challenging. To this end, we propose Image Conductor, a method for precise control of camera transitions and object movements to generate video assets from a single image. An well-cultivated training strategy is proposed to separate distinct camera and object motion by camera LoRA weights and object LoRA weights. To further address cinematographic variations from ill-posed trajectories, we introduce a camera-free guidance technique during inference, enhancing object movements while eliminating camera transitions. Additionally, we develop a trajectory-oriented video motion data curation pipeline for training. Quantitative and qualitative experiments demonstrate our method's precision and fine-grained control in generating motion-controllable videos from images, advancing the practical application of interactive video synthesis. Project webpage available at https://liyaowei-stu.github.io/project/ImageConductor/