Fairy: Быстрый параллелизованный синтез видео на основе инструкций
Fairy: Fast Parallelized Instruction-Guided Video-to-Video Synthesis
December 20, 2023
Авторы: Bichen Wu, Ching-Yao Chuang, Xiaoyan Wang, Yichen Jia, Kapil Krishnakumar, Tong Xiao, Feng Liang, Licheng Yu, Peter Vajda
cs.AI
Аннотация
В данной статье мы представляем Fairy — минималистичную, но мощную адаптацию моделей диффузии для редактирования изображений, улучшенную для применения в задачах редактирования видео. Наш подход основан на концепции кросс-фреймового внимания с использованием якорных точек — механизма, который неявно распространяет признаки диффузии между кадрами, обеспечивая превосходную временную согласованность и высококачественный синтез. Fairy не только устраняет ограничения предыдущих моделей, включая потребление памяти и скорость обработки, но и улучшает временную согласованность благодаря уникальной стратегии аугментации данных. Эта стратегия делает модель эквивариантной к аффинным преобразованиям как в исходных, так и в целевых изображениях. Благодаря своей высокой эффективности, Fairy генерирует 120-кадровые видео размером 512x384 (4 секунды при 30 кадрах в секунду) всего за 14 секунд, что как минимум в 44 раза быстрее, чем в предыдущих работах. Всестороннее пользовательское исследование, включающее 1000 сгенерированных образцов, подтверждает, что наш подход обеспечивает превосходное качество, значительно превосходя существующие методы.
English
In this paper, we introduce Fairy, a minimalist yet robust adaptation of
image-editing diffusion models, enhancing them for video editing applications.
Our approach centers on the concept of anchor-based cross-frame attention, a
mechanism that implicitly propagates diffusion features across frames, ensuring
superior temporal coherence and high-fidelity synthesis. Fairy not only
addresses limitations of previous models, including memory and processing
speed. It also improves temporal consistency through a unique data augmentation
strategy. This strategy renders the model equivariant to affine transformations
in both source and target images. Remarkably efficient, Fairy generates
120-frame 512x384 videos (4-second duration at 30 FPS) in just 14 seconds,
outpacing prior works by at least 44x. A comprehensive user study, involving
1000 generated samples, confirms that our approach delivers superior quality,
decisively outperforming established methods.