FlipSketch: 静的な図面をテキストによって誘導されたスケッチアニメーションに変換する

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

著者: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

要旨

スケッチアニメーションは、シンプルなフリップブックの落書きからプロのスタジオ制作まで、視覚的なストーリーテリングに強力なメディアを提供します。従来のアニメーションでは、熟練したアーティストチームがキーフレームや中間フレームを描く必要がありましたが、既存の自動化手法は依然として正確なモーションパスやキーフレームの指定を通じてかなりの芸術的努力を要求します。私たちはFlipSketchを提案します。このシステムは、フリップブックアニメーションの魔法を取り戻します。アイデアを描き、どのように動かしたいかを説明するだけです。私たちのアプローチは、テキストからビデオへの拡散モデルからのモーション事前情報を活用し、スケッチアニメーションを生成するための3つの主要な革新を通じてそれらを適応させます：(i)スケッチスタイルのフレーム生成のための微調整、(ii)入力スケッチの視覚的整合性をノイズの微調整を通じて保持するリファレンスフレームメカニズム、および(iii)視覚的一貫性を失うことなく流動的な動きを可能にするデュアルアテンション構成。制約のあるベクトルアニメーションとは異なり、私たちのラスターフレームはダイナミックなスケッチ変換をサポートし、従来のアニメーションの表現の自由を捉えます。その結果、スケッチアニメーションを簡単な落書きと説明にする直感的なシステムが生まれますが、手描きアニメーションの芸術的本質を維持します。

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.