FairyGen: Анимированный видеоролик с сюжетом на основе одного персонажа, нарисованного ребенком

FairyGen: Storied Cartoon Video from a Single Child-Drawn Character

June 26, 2025

Авторы: Jiayi Zheng, Xiaodong Cun

cs.AI

Аннотация

Мы представляем FairyGen — автоматическую систему для создания сюжетных мультипликационных видео на основе одного детского рисунка, при этом точно сохраняя его уникальный художественный стиль. В отличие от предыдущих методов создания историй, которые в основном сосредоточены на согласованности персонажей и базовых движениях, FairyGen явно разделяет моделирование персонажей и генерацию стилизованных фонов, а также включает кинематографический дизайн кадров для поддержки выразительного и связного повествования. На основе одного наброска персонажа мы сначала используем MLLM для создания структурированного раскадровочного плана с описаниями на уровне кадров, которые определяют окружение, действия персонажей и ракурсы камеры. Для обеспечения визуальной согласованности мы вводим адаптер распространения стиля, который захватывает визуальный стиль персонажа и применяет его к фону, точно сохраняя полную визуальную идентичность персонажа при синтезе сцен, соответствующих стилю. Модуль дизайна кадров дополнительно повышает визуальное разнообразие и кинематографическое качество за счет кадрирования и синтеза многовидовых изображений на основе раскадровки. Для анимации истории мы воссоздаем 3D-модель персонажа, чтобы получить физически правдоподобные последовательности движений, которые затем используются для тонкой настройки модели преобразования изображения в видео на основе MMDiT. Мы также предлагаем двухэтапный адаптер настройки движений: на первом этапе извлекаются визуальные признаки из временно неупорядоченных кадров, разделяя идентичность и движение; на втором этапе моделируются временные динамики с использованием стратегии сдвига временных шагов с замороженными весами идентичности. После обучения FairyGen напрямую создает разнообразные и связные видео-сцены, соответствующие раскадровке. Многочисленные эксперименты демонстрируют, что наша система производит анимации, которые стилистически точны, имеют структурированное повествование и естественные движения, подчеркивая её потенциал для персонализированной и увлекательной анимации историй. Код будет доступен по адресу https://github.com/GVCLab/FairyGen.

English

We propose FairyGen, an automatic system for generating story-driven cartoon videos from a single child's drawing, while faithfully preserving its unique artistic style. Unlike previous storytelling methods that primarily focus on character consistency and basic motion, FairyGen explicitly disentangles character modeling from stylized background generation and incorporates cinematic shot design to support expressive and coherent storytelling. Given a single character sketch, we first employ an MLLM to generate a structured storyboard with shot-level descriptions that specify environment settings, character actions, and camera perspectives. To ensure visual consistency, we introduce a style propagation adapter that captures the character's visual style and applies it to the background, faithfully retaining the character's full visual identity while synthesizing style-consistent scenes. A shot design module further enhances visual diversity and cinematic quality through frame cropping and multi-view synthesis based on the storyboard. To animate the story, we reconstruct a 3D proxy of the character to derive physically plausible motion sequences, which are then used to fine-tune an MMDiT-based image-to-video diffusion model. We further propose a two-stage motion customization adapter: the first stage learns appearance features from temporally unordered frames, disentangling identity from motion; the second stage models temporal dynamics using a timestep-shift strategy with frozen identity weights. Once trained, FairyGen directly renders diverse and coherent video scenes aligned with the storyboard. Extensive experiments demonstrate that our system produces animations that are stylistically faithful, narratively structured natural motion, highlighting its potential for personalized and engaging story animation. The code will be available at https://github.com/GVCLab/FairyGen