FairyGen: Video Cartoon Narrati da un Singolo Personaggio Disegnato da un Bambino

FairyGen: Storied Cartoon Video from a Single Child-Drawn Character

June 26, 2025

Autori: Jiayi Zheng, Xiaodong Cun

cs.AI

Abstract

Proponiamo FairyGen, un sistema automatico per generare video animati guidati da una storia a partire da un singolo disegno di un bambino, preservando fedelmente il suo stile artistico unico. A differenza dei precedenti metodi di narrazione che si concentrano principalmente sulla coerenza dei personaggi e sui movimenti di base, FairyGen separa esplicitamente la modellazione dei personaggi dalla generazione di sfondi stilizzati e incorpora il design cinematografico delle inquadrature per supportare una narrazione espressiva e coerente. Dato un singolo schizzo di un personaggio, utilizziamo prima un MLLM per generare uno storyboard strutturato con descrizioni a livello di inquadratura che specificano ambientazioni, azioni dei personaggi e prospettive della telecamera. Per garantire la coerenza visiva, introduciamo un adattatore di propagazione dello stile che cattura lo stile visivo del personaggio e lo applica allo sfondo, mantenendo fedelmente l'identità visiva completa del personaggio mentre sintetizza scene coerenti con lo stile. Un modulo di design delle inquadrature migliora ulteriormente la diversità visiva e la qualità cinematografica attraverso il ritaglio dei fotogrammi e la sintesi multi-vista basata sullo storyboard. Per animare la storia, ricostruiamo un proxy 3D del personaggio per derivare sequenze di movimento fisicamente plausibili, che vengono poi utilizzate per ottimizzare un modello di diffusione da immagine a video basato su MMDiT. Proponiamo inoltre un adattatore di personalizzazione del movimento a due stadi: il primo stadio apprende le caratteristiche dell'aspetto da fotogrammi temporalmente non ordinati, separando l'identità dal movimento; il secondo stadio modella la dinamica temporale utilizzando una strategia di spostamento del timestep con pesi di identità congelati. Una volta addestrato, FairyGen rende direttamente scene video diverse e coerenti allineate con lo storyboard. Esperimenti estensivi dimostrano che il nostro sistema produce animazioni fedeli allo stile, con movimenti naturali strutturati narrativamente, evidenziando il suo potenziale per l'animazione di storie personalizzate e coinvolgenti. Il codice sarà disponibile all'indirizzo https://github.com/GVCLab/FairyGen.

English

We propose FairyGen, an automatic system for generating story-driven cartoon videos from a single child's drawing, while faithfully preserving its unique artistic style. Unlike previous storytelling methods that primarily focus on character consistency and basic motion, FairyGen explicitly disentangles character modeling from stylized background generation and incorporates cinematic shot design to support expressive and coherent storytelling. Given a single character sketch, we first employ an MLLM to generate a structured storyboard with shot-level descriptions that specify environment settings, character actions, and camera perspectives. To ensure visual consistency, we introduce a style propagation adapter that captures the character's visual style and applies it to the background, faithfully retaining the character's full visual identity while synthesizing style-consistent scenes. A shot design module further enhances visual diversity and cinematic quality through frame cropping and multi-view synthesis based on the storyboard. To animate the story, we reconstruct a 3D proxy of the character to derive physically plausible motion sequences, which are then used to fine-tune an MMDiT-based image-to-video diffusion model. We further propose a two-stage motion customization adapter: the first stage learns appearance features from temporally unordered frames, disentangling identity from motion; the second stage models temporal dynamics using a timestep-shift strategy with frozen identity weights. Once trained, FairyGen directly renders diverse and coherent video scenes aligned with the storyboard. Extensive experiments demonstrate that our system produces animations that are stylistically faithful, narratively structured natural motion, highlighting its potential for personalized and engaging story animation. The code will be available at https://github.com/GVCLab/FairyGen