Pegatinas Animadas: Dando Vida a las Pegatinas con Difusión de Video

Animated Stickers: Bringing Stickers to Life with Video Diffusion

February 8, 2024

Autores: David Yan, Winnie Zhang, Luxin Zhang, Anmol Kalia, Dingkang Wang, Ankit Ramchandani, Miao Liu, Albert Pumarola, Edgar Schoenfeld, Elliot Blanchard, Krishna Narni, Yaqiao Luo, Lawrence Chen, Guan Pang, Ali Thabet, Peter Vajda, Amy Bearman, Licheng Yu

cs.AI

Resumen

Presentamos pegatinas animadas, un modelo de difusión de video que genera una animación condicionada por un texto descriptivo y una imagen estática de pegatina. Nuestro modelo se construye sobre el modelo de texto a imagen Emu, de última generación, con la adición de capas temporales para modelar el movimiento. Debido a la brecha de dominio, es decir, las diferencias en el estilo visual y de movimiento, un modelo que funcionaba bien en la generación de videos naturales ya no puede generar videos vívidos cuando se aplica a pegatinas. Para cerrar esta brecha, empleamos una canalización de ajuste fino en dos etapas: primero con datos débilmente dentro del dominio, seguido de una estrategia de humano en el bucle (HITL) que denominamos conjunto-de-maestros. Esta estrategia destila las mejores cualidades de múltiples maestros en un modelo estudiante más pequeño. Demostramos que esta estrategia nos permite mejorar específicamente la calidad del movimiento mientras mantenemos el estilo de la imagen estática. Con optimizaciones en la inferencia, nuestro modelo es capaz de generar un video de ocho fotogramas con movimiento de alta calidad, interesante y relevante en menos de un segundo.

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.