Autocollants animés : Donner vie aux autocollants avec la diffusion vidéo

Résumé

Nous présentons les stickers animés, un modèle de diffusion vidéo qui génère une animation conditionnée par une invite textuelle et une image de sticker statique. Notre modèle est construit sur la base du modèle Emu, un modèle de pointe pour la génération d'images à partir de texte, auquel nous avons ajouté des couches temporelles pour modéliser le mouvement. En raison de l'écart de domaine, c'est-à-dire des différences dans le style visuel et de mouvement, un modèle qui performait bien pour générer des vidéos naturelles ne parvient plus à produire des vidéos vives lorsqu'il est appliqué aux stickers. Pour combler cet écart, nous utilisons un pipeline de réglage fin en deux étapes : d'abord avec des données faiblement intra-domaines, suivies d'une stratégie d'intervention humaine (HITL) que nous appelons "ensemble-de-professeurs". Cette stratégie distille les meilleures qualités de plusieurs modèles enseignants dans un modèle étudiant plus petit. Nous montrons que cette approche nous permet d'améliorer spécifiquement la qualité du mouvement tout en conservant le style de l'image statique. Grâce à des optimisations lors de l'inférence, notre modèle est capable de générer une vidéo de huit images avec un mouvement de haute qualité, intéressant et pertinent en moins d'une seconde.

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.

Autocollants animés : Donner vie aux autocollants avec la diffusion vidéo

Animated Stickers: Bringing Stickers to Life with Video Diffusion

Résumé

Support