Geanimeerde stickers: Stickers tot leven brengen met videodiffusie

Animated Stickers: Bringing Stickers to Life with Video Diffusion

February 8, 2024

Auteurs: David Yan, Winnie Zhang, Luxin Zhang, Anmol Kalia, Dingkang Wang, Ankit Ramchandani, Miao Liu, Albert Pumarola, Edgar Schoenfeld, Elliot Blanchard, Krishna Narni, Yaqiao Luo, Lawrence Chen, Guan Pang, Ali Thabet, Peter Vajda, Amy Bearman, Licheng Yu

cs.AI

Samenvatting

We introduceren geanimeerde stickers, een videodiffusiemodel dat een animatie genereert op basis van een tekstprompt en een statische stickerafbeelding. Ons model is gebouwd op de state-of-the-art Emu tekst-naar-beeldmodel, met de toevoeging van temporele lagen om beweging te modelleren. Vanwege de domeinkloof, d.w.z. verschillen in visuele en bewegingsstijl, kan een model dat goed presteerde bij het genereren van natuurlijke video's geen levendige video's meer genereren wanneer het wordt toegepast op stickers. Om deze kloof te overbruggen, gebruiken we een tweestaps finetuning-pijplijn: eerst met zwak in-domein data, gevolgd door een human-in-the-loop (HITL) strategie die we ensemble-of-teachers noemen. Het distilleert de beste kwaliteiten van meerdere leraren in een kleiner studentmodel. We laten zien dat deze strategie ons in staat stelt specifiek verbeteringen aan te brengen in de bewegingskwaliteit terwijl de stijl van de statische afbeelding behouden blijft. Met inferentie-optimalisaties kan ons model een acht-frame video genereren met hoogwaardige, interessante en relevante beweging in minder dan een seconde.

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.