FlipSketch: Преобразование статических рисунков в анимации скетчей с помощью текстового руководства

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

Авторы: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

Аннотация

Скетч-анимации представляют собой мощное средство визуального повествования, начиная от простых зарисовок в стиле флип-бука и заканчивая профессиональными студийными производствами. В то время как для традиционной анимации требуется команда опытных художников для создания ключевых кадров и промежуточных кадров, существующие попытки автоматизации все еще требуют значительных художественных усилий через точные траектории движения или спецификацию ключевых кадров. Мы представляем FlipSketch, систему, которая возвращает магию флип-бук анимации -- просто нарисуйте свою идею и опишите, как вы хотите, чтобы она двигалась! Наш подход использует движущиеся априорные знания из моделей диффузии текста в видео, адаптируя их для создания скетч-анимаций через три ключевых инновации: (i) настройка для генерации кадров в стиле скетча, (ii) механизм опорного кадра, который сохраняет визуальную целостность входного скетча через улучшение шума, и (iii) двойная механизм внимания, который обеспечивает плавное движение без потери визуальной согласованности. В отличие от ограниченных векторных анимаций, наши растровые кадры поддерживают динамические преобразования скетчей, захватывая выразительную свободу традиционной анимации. Результатом является интуитивная система, которая делает скетч-анимацию такой же простой, как зарисовка и описание, сохраняя художественную сущность ручной анимации.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.