PIA: Il tuo Animatore di Immagini Personalizzato tramite Moduli Plug-and-Play nei Modelli Text-to-Image

PIA: Your Personalized Image Animator via Plug-and-Play Modules in Text-to-Image Models

December 21, 2023

Autori: Yiming Zhang, Zhening Xing, Yanhong Zeng, Youqing Fang, Kai Chen

cs.AI

Abstract

I recenti progressi nei modelli di testo-immagine (T2I) personalizzati hanno rivoluzionato la creazione di contenuti, consentendo ai non esperti di generare immagini straordinarie con stili unici. Sebbene promettenti, l'aggiunta di movimenti realistici a queste immagini personalizzate tramite testo presenta sfide significative nel preservare stili distinti, dettagli ad alta fedeltà e nel raggiungere la controllabilità del movimento tramite testo. In questo articolo, presentiamo PIA, un Animatore di Immagini Personalizzato che eccelle nell'allineamento con immagini di condizione, nel raggiungere la controllabilità del movimento tramite testo e nella compatibilità con vari modelli T2I personalizzati senza necessità di regolazioni specifiche. Per raggiungere questi obiettivi, PIA si basa su un modello T2I di base con strati di allineamento temporale ben addestrati, consentendo la trasformazione senza soluzione di continuità di qualsiasi modello T2I personalizzato in un modello di animazione di immagini. Un componente chiave di PIA è l'introduzione del modulo di condizione, che utilizza il frame di condizione e l'affinità inter-frame come input per trasferire informazioni sull'aspetto guidate dal suggerimento di affinità per la sintesi di frame individuali nello spazio latente. Questo design mitiga le sfide legate all'allineamento delle immagini relative all'aspetto e consente una maggiore focalizzazione sull'allineamento con le indicazioni relative al movimento.

English

Recent advancements in personalized text-to-image (T2I) models have revolutionized content creation, empowering non-experts to generate stunning images with unique styles. While promising, adding realistic motions into these personalized images by text poses significant challenges in preserving distinct styles, high-fidelity details, and achieving motion controllability by text. In this paper, we present PIA, a Personalized Image Animator that excels in aligning with condition images, achieving motion controllability by text, and the compatibility with various personalized T2I models without specific tuning. To achieve these goals, PIA builds upon a base T2I model with well-trained temporal alignment layers, allowing for the seamless transformation of any personalized T2I model into an image animation model. A key component of PIA is the introduction of the condition module, which utilizes the condition frame and inter-frame affinity as input to transfer appearance information guided by the affinity hint for individual frame synthesis in the latent space. This design mitigates the challenges of appearance-related image alignment within and allows for a stronger focus on aligning with motion-related guidance.