FairyGen : Vidéo de dessin animé narratif à partir d'un seul personnage dessiné par un enfant

FairyGen: Storied Cartoon Video from a Single Child-Drawn Character

June 26, 2025

Auteurs: Jiayi Zheng, Xiaodong Cun

cs.AI

Résumé

Nous proposons FairyGen, un système automatique pour générer des vidéos de dessins animés basées sur une histoire à partir d’un seul dessin d’enfant, tout en préservant fidèlement son style artistique unique. Contrairement aux méthodes précédentes de narration qui se concentrent principalement sur la cohérence des personnages et les mouvements de base, FairyGen dissocie explicitement la modélisation des personnages de la génération d’arrière-plans stylisés et intègre une conception de plans cinématographiques pour soutenir une narration expressive et cohérente. Étant donné un croquis de personnage unique, nous utilisons d’abord un MLLM pour générer un storyboard structuré avec des descriptions au niveau des plans, spécifiant les environnements, les actions des personnages et les perspectives de la caméra. Pour assurer la cohérence visuelle, nous introduisons un adaptateur de propagation de style qui capture le style visuel du personnage et l’applique à l’arrière-plan, conservant fidèlement l’identité visuelle complète du personnage tout en synthétisant des scènes stylistiquement cohérentes. Un module de conception de plans améliore davantage la diversité visuelle et la qualité cinématographique grâce au recadrage des images et à la synthèse multi-vues basée sur le storyboard. Pour animer l’histoire, nous reconstruisons un proxy 3D du personnage pour dériver des séquences de mouvements physiquement plausibles, qui sont ensuite utilisées pour affiner un modèle de diffusion image-à-vidéo basé sur MMDiT. Nous proposons également un adaptateur de personnalisation de mouvement en deux étapes : la première étape apprend les caractéristiques d’apparence à partir d’images non ordonnées dans le temps, dissociant l’identité du mouvement ; la deuxième étape modélise la dynamique temporelle en utilisant une stratégie de décalage temporel avec des poids d’identité figés. Une fois entraîné, FairyGen rend directement des scènes vidéo diverses et cohérentes alignées sur le storyboard. Des expériences approfondies démontrent que notre système produit des animations fidèles au style, avec des mouvements naturels structurés narrativement, mettant en évidence son potentiel pour l’animation d’histoires personnalisées et engageantes. Le code sera disponible à l’adresse suivante : https://github.com/GVCLab/FairyGen.

English

We propose FairyGen, an automatic system for generating story-driven cartoon videos from a single child's drawing, while faithfully preserving its unique artistic style. Unlike previous storytelling methods that primarily focus on character consistency and basic motion, FairyGen explicitly disentangles character modeling from stylized background generation and incorporates cinematic shot design to support expressive and coherent storytelling. Given a single character sketch, we first employ an MLLM to generate a structured storyboard with shot-level descriptions that specify environment settings, character actions, and camera perspectives. To ensure visual consistency, we introduce a style propagation adapter that captures the character's visual style and applies it to the background, faithfully retaining the character's full visual identity while synthesizing style-consistent scenes. A shot design module further enhances visual diversity and cinematic quality through frame cropping and multi-view synthesis based on the storyboard. To animate the story, we reconstruct a 3D proxy of the character to derive physically plausible motion sequences, which are then used to fine-tune an MMDiT-based image-to-video diffusion model. We further propose a two-stage motion customization adapter: the first stage learns appearance features from temporally unordered frames, disentangling identity from motion; the second stage models temporal dynamics using a timestep-shift strategy with frozen identity weights. Once trained, FairyGen directly renders diverse and coherent video scenes aligned with the storyboard. Extensive experiments demonstrate that our system produces animations that are stylistically faithful, narratively structured natural motion, highlighting its potential for personalized and engaging story animation. The code will be available at https://github.com/GVCLab/FairyGen