PIA: Seu Animador de Imagens Personalizado via Módulos Plug-and-Play em Modelos de Texto para Imagem

PIA: Your Personalized Image Animator via Plug-and-Play Modules in Text-to-Image Models

December 21, 2023

Autores: Yiming Zhang, Zhening Xing, Yanhong Zeng, Youqing Fang, Kai Chen

cs.AI

Resumo

Avanços recentes em modelos personalizados de texto para imagem (T2I) revolucionaram a criação de conteúdo, capacitando não especialistas a gerar imagens impressionantes com estilos únicos. Embora promissores, a adição de movimentos realistas a essas imagens personalizadas por meio de texto apresenta desafios significativos na preservação de estilos distintos, detalhes de alta fidelidade e na obtenção de controlabilidade de movimento por texto. Neste artigo, apresentamos o PIA, um Animador de Imagens Personalizado que se destaca no alinhamento com imagens de condição, na obtenção de controlabilidade de movimento por texto e na compatibilidade com vários modelos personalizados de T2I sem ajustes específicos. Para alcançar esses objetivos, o PIA se baseia em um modelo T2I básico com camadas de alinhamento temporal bem treinadas, permitindo a transformação contínua de qualquer modelo personalizado de T2I em um modelo de animação de imagens. Um componente-chave do PIA é a introdução do módulo de condição, que utiliza o quadro de condição e a afinidade interquadros como entrada para transferir informações de aparência guiadas pela dica de afinidade para a síntese de quadros individuais no espaço latente. Esse design mitiga os desafios de alinhamento de imagem relacionados à aparência e permite um foco mais forte no alinhamento com orientações relacionadas ao movimento.

English

Recent advancements in personalized text-to-image (T2I) models have revolutionized content creation, empowering non-experts to generate stunning images with unique styles. While promising, adding realistic motions into these personalized images by text poses significant challenges in preserving distinct styles, high-fidelity details, and achieving motion controllability by text. In this paper, we present PIA, a Personalized Image Animator that excels in aligning with condition images, achieving motion controllability by text, and the compatibility with various personalized T2I models without specific tuning. To achieve these goals, PIA builds upon a base T2I model with well-trained temporal alignment layers, allowing for the seamless transformation of any personalized T2I model into an image animation model. A key component of PIA is the introduction of the condition module, which utilizes the condition frame and inter-frame affinity as input to transfer appearance information guided by the affinity hint for individual frame synthesis in the latent space. This design mitigates the challenges of appearance-related image alignment within and allows for a stronger focus on aligning with motion-related guidance.