FairyGen: Video animado narrativo a partir de un único personaje dibujado por un niño

FairyGen: Storied Cartoon Video from a Single Child-Drawn Character

June 26, 2025

Autores: Jiayi Zheng, Xiaodong Cun

cs.AI

Resumen

Proponemos FairyGen, un sistema automático para generar videos de dibujos animados basados en historias a partir de un único dibujo infantil, preservando fielmente su estilo artístico único. A diferencia de los métodos previos de narración que se centran principalmente en la consistencia de los personajes y el movimiento básico, FairyGen desvincula explícitamente el modelado de personajes de la generación de fondos estilizados e incorpora el diseño de planos cinematográficos para respaldar una narración expresiva y coherente. Dado un boceto de un único personaje, primero empleamos un MLLM para generar un guion gráfico estructurado con descripciones a nivel de plano que especifican configuraciones del entorno, acciones del personaje y perspectivas de cámara. Para garantizar la consistencia visual, introducimos un adaptador de propagación de estilo que captura el estilo visual del personaje y lo aplica al fondo, conservando fielmente la identidad visual completa del personaje mientras sintetiza escenas consistentes en estilo. Un módulo de diseño de planos mejora aún más la diversidad visual y la calidad cinematográfica mediante el recorte de fotogramas y la síntesis de múltiples vistas basada en el guion gráfico. Para animar la historia, reconstruimos un proxy 3D del personaje para derivar secuencias de movimiento físicamente plausibles, que luego se utilizan para ajustar un modelo de difusión de imagen a video basado en MMDiT. Además, proponemos un adaptador de personalización de movimiento en dos etapas: la primera etapa aprende características de apariencia a partir de fotogramas temporalmente desordenados, desvinculando la identidad del movimiento; la segunda etapa modela la dinámica temporal utilizando una estrategia de desplazamiento de pasos de tiempo con pesos de identidad congelados. Una vez entrenado, FairyGen renderiza directamente escenas de video diversas y coherentes alineadas con el guion gráfico. Experimentos extensos demuestran que nuestro sistema produce animaciones que son fieles en estilo, con movimiento natural estructurado narrativamente, destacando su potencial para la animación de historias personalizadas y atractivas. El código estará disponible en https://github.com/GVCLab/FairyGen.

English

We propose FairyGen, an automatic system for generating story-driven cartoon videos from a single child's drawing, while faithfully preserving its unique artistic style. Unlike previous storytelling methods that primarily focus on character consistency and basic motion, FairyGen explicitly disentangles character modeling from stylized background generation and incorporates cinematic shot design to support expressive and coherent storytelling. Given a single character sketch, we first employ an MLLM to generate a structured storyboard with shot-level descriptions that specify environment settings, character actions, and camera perspectives. To ensure visual consistency, we introduce a style propagation adapter that captures the character's visual style and applies it to the background, faithfully retaining the character's full visual identity while synthesizing style-consistent scenes. A shot design module further enhances visual diversity and cinematic quality through frame cropping and multi-view synthesis based on the storyboard. To animate the story, we reconstruct a 3D proxy of the character to derive physically plausible motion sequences, which are then used to fine-tune an MMDiT-based image-to-video diffusion model. We further propose a two-stage motion customization adapter: the first stage learns appearance features from temporally unordered frames, disentangling identity from motion; the second stage models temporal dynamics using a timestep-shift strategy with frozen identity weights. Once trained, FairyGen directly renders diverse and coherent video scenes aligned with the storyboard. Extensive experiments demonstrate that our system produces animations that are stylistically faithful, narratively structured natural motion, highlighting its potential for personalized and engaging story animation. The code will be available at https://github.com/GVCLab/FairyGen