Анимированные стикеры: Оживление стикеров с помощью видео-диффузии

Animated Stickers: Bringing Stickers to Life with Video Diffusion

February 8, 2024

Авторы: David Yan, Winnie Zhang, Luxin Zhang, Anmol Kalia, Dingkang Wang, Ankit Ramchandani, Miao Liu, Albert Pumarola, Edgar Schoenfeld, Elliot Blanchard, Krishna Narni, Yaqiao Luo, Lawrence Chen, Guan Pang, Ali Thabet, Peter Vajda, Amy Bearman, Licheng Yu

cs.AI

Аннотация

Мы представляем анимированные стикеры — модель видеодиффузии, которая генерирует анимацию на основе текстового запроса и статичного изображения стикера. Наша модель построена на основе передовой модели Emu для генерации изображений по тексту, с добавлением временных слоёв для моделирования движения. Из-за разрыва в доменах, то есть различий в визуальном и анимационном стиле, модель, которая хорошо справлялась с генерацией натуральных видео, не может создавать яркие видео применительно к стикерам. Чтобы преодолеть этот разрыв, мы используем двухэтапный процесс дообучения: сначала на слабо соответствующих данных, а затем с применением стратегии "человек в цикле" (HITL), которую мы называем "ансамбль учителей". Этот подход позволяет объединить лучшие качества нескольких моделей-учителей в более компактной модели-ученике. Мы показываем, что такая стратегия позволяет целенаправленно улучшать качество движения, сохраняя при этом стиль исходного статичного изображения. Благодаря оптимизациям в процессе вывода, наша модель способна генерировать восьмикадровое видео с высококачественным, интересным и релевантным движением менее чем за одну секунду.

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.