Adesivi Animati: Dare Vita agli Adesivi con la Diffusione Video

Animated Stickers: Bringing Stickers to Life with Video Diffusion

February 8, 2024

Autori: David Yan, Winnie Zhang, Luxin Zhang, Anmol Kalia, Dingkang Wang, Ankit Ramchandani, Miao Liu, Albert Pumarola, Edgar Schoenfeld, Elliot Blanchard, Krishna Narni, Yaqiao Luo, Lawrence Chen, Guan Pang, Ali Thabet, Peter Vajda, Amy Bearman, Licheng Yu

cs.AI

Abstract

Introduciamo gli adesivi animati, un modello di diffusione video che genera un'animazione condizionata da un prompt testuale e un'immagine statica di un adesivo. Il nostro modello è costruito sullo stato dell'arte del modello Emu per la generazione di immagini da testo, con l'aggiunta di strati temporali per modellare il movimento. A causa del divario di dominio, ovvero delle differenze nello stile visivo e nel movimento, un modello che ha ottenuto buoni risultati nella generazione di video naturali non è più in grado di generare video vivaci quando applicato agli adesivi. Per colmare questo divario, utilizziamo una pipeline di fine-tuning in due fasi: prima con dati debolmente in dominio, seguita da una strategia human-in-the-loop (HITL) che chiamiamo ensemble-of-teachers. Questa strategia distilla le migliori qualità di più insegnanti in un modello studente più piccolo. Dimostriamo che questo approccio ci consente di migliorare specificamente la qualità del movimento mantenendo lo stile dell'immagine statica. Con ottimizzazioni nell'inferenza, il nostro modello è in grado di generare un video di otto fotogrammi con movimento di alta qualità, interessante e pertinente in meno di un secondo.

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.