アニメーションステッカー：ビデオ拡散技術でステッカーに命を吹き込む

要旨

アニメーションステッカーを紹介します。これは、テキストプロンプトと静止画ステッカーを条件としてアニメーションを生成するビデオ拡散モデルです。私たちのモデルは、最先端のEmuテキスト画像生成モデルを基盤としており、動きをモデル化するための時間層を追加しています。ドメインギャップ、つまり視覚的および動きのスタイルの違いにより、自然な動画生成で優れた性能を発揮したモデルでも、ステッカーに適用すると鮮やかな動画を生成できなくなります。このギャップを埋めるため、2段階のファインチューニングパイプラインを採用しました。まず弱いドメイン内データで、次に「アンサンブル・オブ・ティーチャーズ」と呼ぶ人間参加型（HITL）戦略を用います。この戦略は、複数の教師モデルの最良の特性をより小さな学生モデルに蒸留します。この戦略により、静止画のスタイルを維持しながら、特に動きの品質を向上させることができることを示します。推論最適化により、私たちのモデルは1秒未満で8フレームの高品質で興味深く、関連性のある動きを持つビデオを生成できます。

English

We introduce animated stickers, a video diffusion model which generates an animation conditioned on a text prompt and static sticker image. Our model is built on top of the state-of-the-art Emu text-to-image model, with the addition of temporal layers to model motion. Due to the domain gap, i.e. differences in visual and motion style, a model which performed well on generating natural videos can no longer generate vivid videos when applied to stickers. To bridge this gap, we employ a two-stage finetuning pipeline: first with weakly in-domain data, followed by human-in-the-loop (HITL) strategy which we term ensemble-of-teachers. It distills the best qualities of multiple teachers into a smaller student model. We show that this strategy allows us to specifically target improvements to motion quality while maintaining the style from the static image. With inference optimizations, our model is able to generate an eight-frame video with high-quality, interesting, and relevant motion in under one second.

アニメーションステッカー：ビデオ拡散技術でステッカーに命を吹き込む

Animated Stickers: Bringing Stickers to Life with Video Diffusion

要旨

Support