애니메이션 스티커: 비디오 확산 기술로 스티커에 생동감 불어넣기

초록

우리는 텍스트 프롬프트와 정적 스티커 이미지를 조건으로 애니메이션을 생성하는 비디오 확산 모델인 애니메이티드 스티커를 소개합니다. 우리의 모델은 최신 Emu 텍스트-이미지 모델을 기반으로 구축되었으며, 모션을 모델링하기 위해 시간적 레이어가 추가되었습니다. 도메인 간격, 즉 시각적 및 모션 스타일의 차이로 인해 자연스러운 비디오 생성에 뛰어난 모델도 스티커에 적용할 때 생동감 있는 비디오를 생성하지 못합니다. 이 간극을 해소하기 위해 우리는 두 단계의 파인튜닝 파이프라인을 사용합니다: 먼저 약한 인-도메인 데이터로 파인튜닝한 후, 앙상블-오브-티처(ensemble-of-teachers)라고 명명한 인간-참여(HITL) 전략을 적용합니다. 이 전략은 여러 교사 모델의 최상의 특성을 더 작은 학생 모델로 증류합니다. 우리는 이 전략이 정적 이미지의 스타일을 유지하면서 모션 품질을 특별히 개선할 수 있음을 보여줍니다. 추론 최적화를 통해 우리의 모델은 1초 미만의 시간에 고품질, 흥미롭고 관련성 있는 모션을 가진 8프레임 비디오를 생성할 수 있습니다.

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.

애니메이션 스티커: 비디오 확산 기술로 스티커에 생동감 불어넣기

Animated Stickers: Bringing Stickers to Life with Video Diffusion

초록

Support