ToonComposer: Оптимизация производства мультфильмов с использованием генеративного пост-кейфрейминга

ToonComposer: Streamlining Cartoon Production with Generative Post-Keyframing

August 14, 2025

Авторы: Lingen Li, Guangzhi Wang, Zhaoyang Zhang, Yaowei Li, Xiaoyu Li, Qi Dou, Jinwei Gu, Tianfan Xue, Ying Shan

cs.AI

Аннотация

Традиционное производство мультфильмов и аниме включает этапы создания ключевых кадров, промежуточных кадров (интерполяции) и раскрашивания, которые требуют значительных ручных усилий. Несмотря на недавние достижения в области ИИ, существующие методы часто обрабатывают эти этапы отдельно, что приводит к накоплению ошибок и артефактам. Например, методы интерполяции испытывают трудности с большими движениями, а методы раскрашивания требуют плотных набросков для каждого кадра. Чтобы решить эту проблему, мы представляем ToonComposer — генеративную модель, которая объединяет интерполяцию и раскрашивание в единый этап после создания ключевых кадров. ToonComposer использует механизм вставки разреженных набросков для обеспечения точного контроля с помощью набросков ключевых кадров. Кроме того, модель применяет метод адаптации к мультипликационному стилю с использованием пространственного низкорангового адаптера, что позволяет адаптировать современную базовую модель для видео к мультипликационной области, сохраняя при этом её временные приоритеты. ToonComposer, требующий всего одного наброска и одного раскрашенного эталонного кадра, демонстрирует высокую эффективность при работе с разреженными входными данными, а также поддерживает использование нескольких набросков в любом временном месте для более точного управления движением. Эта двойная функциональность снижает ручную нагрузку и повышает гибкость, расширяя возможности художников в реальных сценариях. Для оценки нашей модели мы также создали PKBench — эталонный набор данных, включающий нарисованные вручную наброски, которые имитируют реальные сценарии использования. Наша оценка показывает, что ToonComposer превосходит существующие методы по визуальному качеству, согласованности движений и эффективности производства, предлагая более совершенное и гибкое решение для производства мультфильмов с помощью ИИ.

English

Traditional cartoon and anime production involves keyframing, inbetweening, and colorization stages, which require intensive manual effort. Despite recent advances in AI, existing methods often handle these stages separately, leading to error accumulation and artifacts. For instance, inbetweening approaches struggle with large motions, while colorization methods require dense per-frame sketches. To address this, we introduce ToonComposer, a generative model that unifies inbetweening and colorization into a single post-keyframing stage. ToonComposer employs a sparse sketch injection mechanism to provide precise control using keyframe sketches. Additionally, it uses a cartoon adaptation method with the spatial low-rank adapter to tailor a modern video foundation model to the cartoon domain while keeping its temporal prior intact. Requiring as few as a single sketch and a colored reference frame, ToonComposer excels with sparse inputs, while also supporting multiple sketches at any temporal location for more precise motion control. This dual capability reduces manual workload and improves flexibility, empowering artists in real-world scenarios. To evaluate our model, we further created PKBench, a benchmark featuring human-drawn sketches that simulate real-world use cases. Our evaluation demonstrates that ToonComposer outperforms existing methods in visual quality, motion consistency, and production efficiency, offering a superior and more flexible solution for AI-assisted cartoon production.