FlipSketch: Transformando Desenhos Estáticos em Animações de Esboços Guiadas por Texto

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

Autores: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

Resumo

Animações em esboço oferecem um meio poderoso para contar histórias visuais, desde simples rabiscos de flip-book até produções de estúdio profissionais. Enquanto a animação tradicional requer equipes de artistas habilidosos para desenhar quadros-chave e quadros intermediários, as tentativas de automação existentes ainda exigem um esforço artístico significativo por meio de caminhos de movimento precisos ou especificação de quadros-chave. Apresentamos o FlipSketch, um sistema que traz de volta a magia da animação de flip-book -- basta desenhar sua ideia e descrever como deseja que ela se mova! Nossa abordagem aproveita precursores de movimento de modelos de difusão de texto para vídeo, adaptando-os para gerar animações em esboço por meio de três inovações-chave: (i) ajuste fino para geração de quadros no estilo de esboço, (ii) um mecanismo de quadro de referência que preserva a integridade visual do esboço de entrada por meio de refinamento de ruído, e (iii) uma composição de dupla atenção que permite um movimento fluido sem perder consistência visual. Ao contrário das animações vetoriais restritas, nossos quadros rasterizados suportam transformações de esboço dinâmicas, capturando a liberdade expressiva da animação tradicional. O resultado é um sistema intuitivo que torna a animação em esboço tão simples quanto rabiscar e descrever, mantendo a essência artística da animação feita à mão.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.