フォロー・ユア・クリック：短いプロンプトによるオープンドメイン領域画像アニメーション

Follow-Your-Click: Open-domain Regional Image Animation via Short Prompts

March 13, 2024

著者: Yue Ma, Yingqing He, Hongfa Wang, Andong Wang, Chenyang Qi, Chengfei Cai, Xiu Li, Zhifeng Li, Heung-Yeung Shum, Wei Liu, Qifeng Chen

cs.AI

要旨

近年の画像から動画への生成技術の進展にもかかわらず、より優れた制御性と局所的なアニメーションはあまり研究されていない。既存の画像から動画への手法の多くは局所的な認識がなく、シーン全体を動かす傾向がある。しかし、人間のアーティストは異なるオブジェクトや領域の動きを制御する必要があるかもしれない。さらに、現在のI2V手法では、ユーザーは目標の動きを記述するだけでなく、フレーム内容の冗長な詳細な記述も提供する必要がある。これらの2つの問題が、現在のI2Vツールの実用的な利用を妨げている。本論文では、Follow-Your-Clickと名付けた実用的なフレームワークを提案し、ユーザーの簡単なクリック（何を動かすかを指定）と短い動きのプロンプト（どのように動かすかを指定）で画像アニメーションを実現する。技術的には、初フレームマスキング戦略を提案し、動画生成の品質を大幅に向上させ、短い動きのプロンプトデータセットを備えた動き拡張モジュールを提案して、モデルの短いプロンプト追従能力を向上させる。さらに、動きの速度を制御するために、フローベースの動きの大きさ制御を提案し、目標の動きの速度をより正確に制御する。我々のフレームワークは、以前の手法よりもシンプルで正確なユーザー制御と優れた生成性能を有する。7つのベースライン（商用ツールと研究手法を含む）と8つのメトリクスを用いた広範な実験により、我々のアプローチの優位性が示された。プロジェクトページ: https://follow-your-click.github.io/

English

Despite recent advances in image-to-video generation, better controllability and local animation are less explored. Most existing image-to-video methods are not locally aware and tend to move the entire scene. However, human artists may need to control the movement of different objects or regions. Additionally, current I2V methods require users not only to describe the target motion but also to provide redundant detailed descriptions of frame contents. These two issues hinder the practical utilization of current I2V tools. In this paper, we propose a practical framework, named Follow-Your-Click, to achieve image animation with a simple user click (for specifying what to move) and a short motion prompt (for specifying how to move). Technically, we propose the first-frame masking strategy, which significantly improves the video generation quality, and a motion-augmented module equipped with a short motion prompt dataset to improve the short prompt following abilities of our model. To further control the motion speed, we propose flow-based motion magnitude control to control the speed of target movement more precisely. Our framework has simpler yet precise user control and better generation performance than previous methods. Extensive experiments compared with 7 baselines, including both commercial tools and research methods on 8 metrics, suggest the superiority of our approach. Project Page: https://follow-your-click.github.io/