ToonComposer: 生成型ポストキーフレーミングによるアニメ制作の効率化

ToonComposer: Streamlining Cartoon Production with Generative Post-Keyframing

August 14, 2025

著者: Lingen Li, Guangzhi Wang, Zhaoyang Zhang, Yaowei Li, Xiaoyu Li, Qi Dou, Jinwei Gu, Tianfan Xue, Ying Shan

cs.AI

要旨

従来のカートゥーンやアニメ制作では、キーフレーム作成、中割り、彩色といった工程が必要であり、多大な手作業を要します。近年のAIの進歩にもかかわらず、既存の手法ではこれらの工程を個別に扱うことが多く、エラーの蓄積やアーティファクトの発生が問題となっています。例えば、中割り手法は大きな動きに対応するのが難しく、彩色手法はフレームごとに密なスケッチを必要とします。この問題を解決するため、我々はToonComposerを提案します。これは、中割りと彩色を単一のポストキーフレーム工程に統合した生成モデルです。ToonComposerは、スパースなスケッチ注入メカニズムを用いて、キーフレームスケッチによる精密な制御を実現します。さらに、カートゥーン適応手法と空間的低ランクアダプターを組み合わせることで、現代のビデオ基盤モデルをカートゥーン領域に適応させつつ、その時間的な事前知識を保持します。ToonComposerは、単一のスケッチと彩色済みの参照フレームだけで動作し、スパースな入力に対しても優れた性能を発揮します。また、任意の時間位置に複数のスケッチを配置することで、より精密な動きの制御も可能です。この二重の能力により、手作業の負担が軽減され、柔軟性が向上し、現実の制作現場でアーティストを支援します。我々はさらに、現実の使用例を模倣した手描きスケッチを含むベンチマークPKBenchを作成し、モデルを評価しました。評価の結果、ToonComposerは視覚品質、動きの一貫性、制作効率の面で既存手法を上回り、AI支援型カートゥーン制作において優れた柔軟性を備えたソリューションを提供することが示されました。

English

Traditional cartoon and anime production involves keyframing, inbetweening, and colorization stages, which require intensive manual effort. Despite recent advances in AI, existing methods often handle these stages separately, leading to error accumulation and artifacts. For instance, inbetweening approaches struggle with large motions, while colorization methods require dense per-frame sketches. To address this, we introduce ToonComposer, a generative model that unifies inbetweening and colorization into a single post-keyframing stage. ToonComposer employs a sparse sketch injection mechanism to provide precise control using keyframe sketches. Additionally, it uses a cartoon adaptation method with the spatial low-rank adapter to tailor a modern video foundation model to the cartoon domain while keeping its temporal prior intact. Requiring as few as a single sketch and a colored reference frame, ToonComposer excels with sparse inputs, while also supporting multiple sketches at any temporal location for more precise motion control. This dual capability reduces manual workload and improves flexibility, empowering artists in real-world scenarios. To evaluate our model, we further created PKBench, a benchmark featuring human-drawn sketches that simulate real-world use cases. Our evaluation demonstrates that ToonComposer outperforms existing methods in visual quality, motion consistency, and production efficiency, offering a superior and more flexible solution for AI-assisted cartoon production.