PIA：テキストから画像生成モデルにおけるプラグアンドプレイモジュールを介したパーソナライズド画像アニメーター

要旨

最近のパーソナライズドテキスト-to-イメージ（T2I）モデルの進展は、コンテンツ作成に革命をもたらし、非専門家でも独自のスタイルで見事な画像を生成できるようになりました。しかし、これらのパーソナライズド画像にテキストによって現実的な動きを加えることは、独自のスタイルの維持、高精細なディテールの保持、およびテキストによる動きの制御性の実現において大きな課題を抱えています。本論文では、PIA（Personalized Image Animator）を提案します。PIAは、条件画像との整合性、テキストによる動きの制御性、および特定のチューニングを必要とせずに様々なパーソナライズドT2Iモデルとの互換性を実現します。これらの目標を達成するため、PIAは、十分に訓練された時間的整合レイヤーを備えたベースT2Iモデルを基盤として構築され、任意のパーソナライズドT2Iモデルをシームレスに画像アニメーションモデルに変換します。PIAの重要なコンポーネントは、条件モジュールの導入です。このモジュールは、条件フレームとフレーム間の親和性を入力として利用し、潜在空間内での個別フレーム合成のために親和性ヒントに導かれた外観情報を転送します。この設計により、外観関連の画像整合性の課題を軽減し、動き関連のガイダンスとの整合性に集中することが可能になります。

English

Recent advancements in personalized text-to-image (T2I) models have revolutionized content creation, empowering non-experts to generate stunning images with unique styles. While promising, adding realistic motions into these personalized images by text poses significant challenges in preserving distinct styles, high-fidelity details, and achieving motion controllability by text. In this paper, we present PIA, a Personalized Image Animator that excels in aligning with condition images, achieving motion controllability by text, and the compatibility with various personalized T2I models without specific tuning. To achieve these goals, PIA builds upon a base T2I model with well-trained temporal alignment layers, allowing for the seamless transformation of any personalized T2I model into an image animation model. A key component of PIA is the introduction of the condition module, which utilizes the condition frame and inter-frame affinity as input to transfer appearance information guided by the affinity hint for individual frame synthesis in the latent space. This design mitigates the challenges of appearance-related image alignment within and allows for a stronger focus on aligning with motion-related guidance.

PIA：テキストから画像生成モデルにおけるプラグアンドプレイモジュールを介したパーソナライズド画像アニメーター

PIA: Your Personalized Image Animator via Plug-and-Play Modules in Text-to-Image Models

要旨

Support