Fairy: 高速並列化命令誘導型ビデオ間合成
Fairy: Fast Parallelized Instruction-Guided Video-to-Video Synthesis
December 20, 2023
著者: Bichen Wu, Ching-Yao Chuang, Xiaoyan Wang, Yichen Jia, Kapil Krishnakumar, Tong Xiao, Feng Liang, Licheng Yu, Peter Vajda
cs.AI
要旨
本論文では、Fairyを紹介する。これは、画像編集用拡散モデルを最小限かつ堅牢に適応させ、ビデオ編集アプリケーション向けに強化したものである。我々のアプローチは、アンカーベースのクロスフレームアテンションという概念を中心に展開されており、このメカニズムは拡散特徴をフレーム間で暗黙的に伝播させ、優れた時間的コヒーレンスと高忠実度の合成を保証する。Fairyは、メモリや処理速度といった従来のモデルの制約に対処するだけでなく、独自のデータ拡張戦略を通じて時間的一貫性を向上させる。この戦略により、モデルはソース画像とターゲット画像の両方におけるアフィン変換に対して等価性を持つ。驚くほど効率的で、Fairyは120フレームの512x384ビデオ（30 FPSで4秒間）をわずか14秒で生成し、従来の手法を少なくとも44倍上回る。1000の生成サンプルを含む包括的なユーザスタディにより、我々のアプローチが優れた品質を提供し、確立された手法を決定的に凌駕することが確認された。
English
In this paper, we introduce Fairy, a minimalist yet robust adaptation of
image-editing diffusion models, enhancing them for video editing applications.
Our approach centers on the concept of anchor-based cross-frame attention, a
mechanism that implicitly propagates diffusion features across frames, ensuring
superior temporal coherence and high-fidelity synthesis. Fairy not only
addresses limitations of previous models, including memory and processing
speed. It also improves temporal consistency through a unique data augmentation
strategy. This strategy renders the model equivariant to affine transformations
in both source and target images. Remarkably efficient, Fairy generates
120-frame 512x384 videos (4-second duration at 30 FPS) in just 14 seconds,
outpacing prior works by at least 44x. A comprehensive user study, involving
1000 generated samples, confirms that our approach delivers superior quality,
decisively outperforming established methods.