PIA: Ваш персональный аниматор изображений с использованием модулей plug-and-play в моделях текста в изображение

PIA: Your Personalized Image Animator via Plug-and-Play Modules in Text-to-Image Models

December 21, 2023

Авторы: Yiming Zhang, Zhening Xing, Yanhong Zeng, Youqing Fang, Kai Chen

cs.AI

Аннотация

Последние достижения в персонализированных моделях текста в изображение (T2I) произвели революцию в создании контента, позволяя неспециалистам генерировать впечатляющие изображения с уникальными стилями. Несмотря на перспективность, добавление реалистичных движений в эти персонализированные изображения с помощью текста ставит значительные задачи, такие как сохранение уникальных стилей, высококачественных деталей и достижение управляемости движений через текст. В данной статье мы представляем PIA (Personalized Image Animator), который превосходно справляется с согласованием с условиями изображений, достижением управляемости движений через текст и совместимостью с различными персонализированными моделями T2I без необходимости специальной настройки. Для достижения этих целей PIA основывается на базовой модели T2I с хорошо обученными слоями временного согласования, что позволяет бесшовно преобразовывать любую персонализированную модель T2I в модель анимации изображений. Ключевым компонентом PIA является введение модуля условий, который использует кадр условия и аффинность между кадрами в качестве входных данных для передачи информации о внешнем виде, направляемой подсказкой аффинности для синтеза отдельных кадров в латентном пространстве. Такая конструкция смягчает проблемы согласования изображений, связанных с внешним видом, и позволяет сосредоточиться на согласовании с руководством, связанным с движением.

English

Recent advancements in personalized text-to-image (T2I) models have revolutionized content creation, empowering non-experts to generate stunning images with unique styles. While promising, adding realistic motions into these personalized images by text poses significant challenges in preserving distinct styles, high-fidelity details, and achieving motion controllability by text. In this paper, we present PIA, a Personalized Image Animator that excels in aligning with condition images, achieving motion controllability by text, and the compatibility with various personalized T2I models without specific tuning. To achieve these goals, PIA builds upon a base T2I model with well-trained temporal alignment layers, allowing for the seamless transformation of any personalized T2I model into an image animation model. A key component of PIA is the introduction of the condition module, which utilizes the condition frame and inter-frame affinity as input to transfer appearance information guided by the affinity hint for individual frame synthesis in the latent space. This design mitigates the challenges of appearance-related image alignment within and allows for a stronger focus on aligning with motion-related guidance.