AnimateZero: Видеодиффузионные модели как универсальные аниматоры изображений без обучения

AnimateZero: Video Diffusion Models are Zero-Shot Image Animators

December 6, 2023

Авторы: Jiwen Yu, Xiaodong Cun, Chenyang Qi, Yong Zhang, Xintao Wang, Ying Shan, Jian Zhang

cs.AI

Аннотация

Крупномасштабные модели диффузии для преобразования текста в видео (T2V) достигли значительного прогресса в последние годы с точки зрения визуального качества, движения и временной согласованности. Однако процесс генерации по-прежнему остается "черным ящиком", где все атрибуты (например, внешний вид, движение) изучаются и генерируются совместно без возможности точного контроля, за исключением грубых текстовых описаний. Вдохновленные анимацией изображений, которая разделяет видео на конкретный внешний вид и соответствующее движение, мы предлагаем AnimateZero, чтобы раскрыть предварительно обученную модель преобразования текста в видео, а именно AnimateDiff, и обеспечить более точный контроль над внешним видом и движением. Для контроля внешнего вида мы заимствуем промежуточные латентные переменные и их признаки из генерации текста в изображение (T2I), чтобы гарантировать, что сгенерированный первый кадр соответствует заданному изображению. Для временного контроля мы заменяем глобальное временное внимание оригинальной модели T2V на наше предложенное внимание с позиционной коррекцией в окне, чтобы обеспечить согласованность остальных кадров с первым кадром. Благодаря предложенным методам, AnimateZero может успешно контролировать процесс генерации без дополнительного обучения. Как аниматор изображений с нулевым обучением для заданных изображений, AnimateZero также открывает множество новых приложений, включая интерактивную генерацию видео и анимацию реальных изображений. Подробные эксперименты демонстрируют эффективность предложенного метода как в T2V, так и в связанных приложениях.

English

Large-scale text-to-video (T2V) diffusion models have great progress in recent years in terms of visual quality, motion and temporal consistency. However, the generation process is still a black box, where all attributes (e.g., appearance, motion) are learned and generated jointly without precise control ability other than rough text descriptions. Inspired by image animation which decouples the video as one specific appearance with the corresponding motion, we propose AnimateZero to unveil the pre-trained text-to-video diffusion model, i.e., AnimateDiff, and provide more precise appearance and motion control abilities for it. For appearance control, we borrow intermediate latents and their features from the text-to-image (T2I) generation for ensuring the generated first frame is equal to the given generated image. For temporal control, we replace the global temporal attention of the original T2V model with our proposed positional-corrected window attention to ensure other frames align with the first frame well. Empowered by the proposed methods, AnimateZero can successfully control the generating progress without further training. As a zero-shot image animator for given images, AnimateZero also enables multiple new applications, including interactive video generation and real image animation. The detailed experiments demonstrate the effectiveness of the proposed method in both T2V and related applications.