Fairy: Schnelle parallelisierte instruktionsgesteuerte Video-zu-Video-Synthese

Fairy: Fast Parallelized Instruction-Guided Video-to-Video Synthesis

December 20, 2023

Autoren: Bichen Wu, Ching-Yao Chuang, Xiaoyan Wang, Yichen Jia, Kapil Krishnakumar, Tong Xiao, Feng Liang, Licheng Yu, Peter Vajda

cs.AI

Zusammenfassung

In diesem Artikel stellen wir Fairy vor, eine minimalistische, aber robuste Anpassung von Bildbearbeitungs-Diffusionsmodellen, die für Videoanwendungen optimiert wurde. Unser Ansatz konzentriert sich auf das Konzept der ankerbasierten rahmenübergreifenden Aufmerksamkeit, ein Mechanismus, der Diffusionsmerkmale implizit über Frames hinweg propagiert und so eine überlegene zeitliche Kohärenz und hochwertige Synthese gewährleistet. Fairy adressiert nicht nur die Einschränkungen früherer Modelle, wie Speicherbedarf und Verarbeitungsgeschwindigkeit, sondern verbessert auch die zeitliche Konsistenz durch eine einzigartige Datenaugmentationsstrategie. Diese Strategie macht das Modell äquivariant gegenüber affinen Transformationen in sowohl Quell- als auch Zielbildern. Bemerkenswert effizient erzeugt Fairy 120-Frame-Videos mit einer Auflösung von 512x384 (4 Sekunden bei 30 FPS) in nur 14 Sekunden und übertrifft damit frühere Arbeiten um mindestens das 44-fache. Eine umfassende Nutzerstudie mit 1000 generierten Proben bestätigt, dass unser Ansatz eine überlegene Qualität liefert und etablierte Methoden deutlich übertrifft.

English

In this paper, we introduce Fairy, a minimalist yet robust adaptation of image-editing diffusion models, enhancing them for video editing applications. Our approach centers on the concept of anchor-based cross-frame attention, a mechanism that implicitly propagates diffusion features across frames, ensuring superior temporal coherence and high-fidelity synthesis. Fairy not only addresses limitations of previous models, including memory and processing speed. It also improves temporal consistency through a unique data augmentation strategy. This strategy renders the model equivariant to affine transformations in both source and target images. Remarkably efficient, Fairy generates 120-frame 512x384 videos (4-second duration at 30 FPS) in just 14 seconds, outpacing prior works by at least 44x. A comprehensive user study, involving 1000 generated samples, confirms that our approach delivers superior quality, decisively outperforming established methods.