FlipSketch: Convertir Dibujos Estáticos en Animaciones de Bocetos Guiadas por Texto

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

Autores: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

Resumen

Las animaciones a mano ofrecen un medio poderoso para contar historias visuales, desde simples garabatos de flip-book hasta producciones de estudio profesionales. Mientras que la animación tradicional requiere equipos de artistas hábiles para dibujar cuadros clave e intermedios, los intentos de automatización existentes aún exigen un esfuerzo artístico significativo a través de trayectorias de movimiento precisas o especificación de cuadros clave. Presentamos FlipSketch, un sistema que devuelve la magia de la animación de flip-book: ¡simplemente dibuja tu idea y describe cómo quieres que se mueva! Nuestro enfoque aprovecha prioridades de movimiento de modelos de difusión de texto a video, adaptándolos para generar animaciones a mano a través de tres innovaciones clave: (i) ajuste fino para la generación de cuadros con estilo de boceto, (ii) un mecanismo de cuadro de referencia que preserva la integridad visual del boceto de entrada a través de un refinamiento de ruido, y (iii) una composición de doble atención que permite un movimiento fluido sin perder consistencia visual. A diferencia de las animaciones vectoriales restringidas, nuestros cuadros rasterizados admiten transformaciones dinámicas de bocetos, capturando la libertad expresiva de la animación tradicional. El resultado es un sistema intuitivo que hace que la animación a mano sea tan simple como garabatear y describir, manteniendo la esencia artística de la animación dibujada a mano.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.