FairyGen: Vídeo de Desenho Animado com Narrativa a partir de um Único Personagem Desenhado por Criança

FairyGen: Storied Cartoon Video from a Single Child-Drawn Character

June 26, 2025

Autores: Jiayi Zheng, Xiaodong Cun

cs.AI

Resumo

Propomos o FairyGen, um sistema automático para gerar vídeos de desenhos animados orientados por histórias a partir de um único desenho infantil, preservando fielmente seu estilo artístico único. Diferente de métodos anteriores de narrativa que focam principalmente na consistência de personagens e movimentos básicos, o FairyGen explicitamente separa a modelagem de personagens da geração de cenários estilizados e incorpora o design de cenas cinematográficas para apoiar uma narrativa expressiva e coerente. Dado um único esboço de personagem, empregamos primeiro um MLLM para gerar um storyboard estruturado com descrições em nível de cena que especificam configurações de ambiente, ações do personagem e perspectivas da câmera. Para garantir consistência visual, introduzimos um adaptador de propagação de estilo que captura o estilo visual do personagem e o aplica ao fundo, mantendo fielmente a identidade visual completa do personagem enquanto sintetiza cenas consistentes em estilo. Um módulo de design de cena aprimora ainda mais a diversidade visual e a qualidade cinematográfica através de recortes de quadro e síntese de múltiplas perspectivas baseada no storyboard. Para animar a história, reconstruímos um proxy 3D do personagem para derivar sequências de movimento fisicamente plausíveis, que são então usadas para ajustar um modelo de difusão de imagem para vídeo baseado em MMDiT. Propomos ainda um adaptador de personalização de movimento em dois estágios: o primeiro estágio aprende características de aparência a partir de quadros temporalmente desordenados, separando identidade de movimento; o segundo estágio modela a dinâmica temporal usando uma estratégia de deslocamento de timestep com pesos de identidade congelados. Uma vez treinado, o FairyGen renderiza diretamente cenas de vídeo diversas e coerentes alinhadas com o storyboard. Experimentos extensivos demonstram que nosso sistema produz animações que são estilisticamente fiéis, com movimento natural estruturado narrativamente, destacando seu potencial para animação de histórias personalizadas e envolventes. O código estará disponível em https://github.com/GVCLab/FairyGen.

English

We propose FairyGen, an automatic system for generating story-driven cartoon videos from a single child's drawing, while faithfully preserving its unique artistic style. Unlike previous storytelling methods that primarily focus on character consistency and basic motion, FairyGen explicitly disentangles character modeling from stylized background generation and incorporates cinematic shot design to support expressive and coherent storytelling. Given a single character sketch, we first employ an MLLM to generate a structured storyboard with shot-level descriptions that specify environment settings, character actions, and camera perspectives. To ensure visual consistency, we introduce a style propagation adapter that captures the character's visual style and applies it to the background, faithfully retaining the character's full visual identity while synthesizing style-consistent scenes. A shot design module further enhances visual diversity and cinematic quality through frame cropping and multi-view synthesis based on the storyboard. To animate the story, we reconstruct a 3D proxy of the character to derive physically plausible motion sequences, which are then used to fine-tune an MMDiT-based image-to-video diffusion model. We further propose a two-stage motion customization adapter: the first stage learns appearance features from temporally unordered frames, disentangling identity from motion; the second stage models temporal dynamics using a timestep-shift strategy with frozen identity weights. Once trained, FairyGen directly renders diverse and coherent video scenes aligned with the storyboard. Extensive experiments demonstrate that our system produces animations that are stylistically faithful, narratively structured natural motion, highlighting its potential for personalized and engaging story animation. The code will be available at https://github.com/GVCLab/FairyGen