Animierte Sticker: Sticker mit Video-Diffusion zum Leben erwecken

Animated Stickers: Bringing Stickers to Life with Video Diffusion

February 8, 2024

Autoren: David Yan, Winnie Zhang, Luxin Zhang, Anmol Kalia, Dingkang Wang, Ankit Ramchandani, Miao Liu, Albert Pumarola, Edgar Schoenfeld, Elliot Blanchard, Krishna Narni, Yaqiao Luo, Lawrence Chen, Guan Pang, Ali Thabet, Peter Vajda, Amy Bearman, Licheng Yu

cs.AI

Zusammenfassung

Wir stellen animierte Sticker vor, ein Video-Diffusionsmodell, das eine Animation basierend auf einem Textprompt und einem statischen Sticker-Bild erzeugt. Unser Modell baut auf dem state-of-the-art Emu Text-zu-Bild-Modell auf, ergänzt durch temporale Schichten zur Modellierung von Bewegung. Aufgrund der Domänenlücke, d.h. der Unterschiede im visuellen und Bewegungsstil, kann ein Modell, das bei der Erzeugung natürlicher Videos gut abschneidet, keine lebendigen Videos mehr erzeugen, wenn es auf Sticker angewendet wird. Um diese Lücke zu überbrücken, verwenden wir eine zweistufige Feinabstimmungs-Pipeline: zunächst mit schwach domänenspezifischen Daten, gefolgt von einer Human-in-the-Loop (HITL)-Strategie, die wir als Ensemble-of-Teachers bezeichnen. Diese destilliert die besten Eigenschaften mehrerer Lehrer in ein kleineres Schülermodell. Wir zeigen, dass diese Strategie es uns ermöglicht, gezielt Verbesserungen der Bewegungsqualität zu erreichen, während der Stil des statischen Bildes beibehalten wird. Durch Inferenzoptimierungen ist unser Modell in der Lage, ein acht Bilder umfassendes Video mit hochwertiger, interessanter und relevanter Bewegung in weniger als einer Sekunde zu erzeugen.

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.