ToonComposer : Rationalisation de la production de dessins animés grâce à la génération post-keyframing

ToonComposer: Streamlining Cartoon Production with Generative Post-Keyframing

August 14, 2025

papers.authors: Lingen Li, Guangzhi Wang, Zhaoyang Zhang, Yaowei Li, Xiaoyu Li, Qi Dou, Jinwei Gu, Tianfan Xue, Ying Shan

cs.AI

papers.abstract

La production traditionnelle de dessins animés et d'anime implique des étapes de création d'images clés, d'interpolation et de colorisation, qui nécessitent un effort manuel intensif. Malgré les récentes avancées en IA, les méthodes existantes traitent souvent ces étapes séparément, entraînant une accumulation d'erreurs et des artefacts. Par exemple, les approches d'interpolation peinent à gérer les mouvements amples, tandis que les méthodes de colorisation nécessitent des croquis denses par image. Pour remédier à cela, nous présentons ToonComposer, un modèle génératif qui unifie l'interpolation et la colorisation en une seule étape post-création d'images clés. ToonComposer utilise un mécanisme d'injection de croquis épars pour offrir un contrôle précis grâce aux croquis des images clés. De plus, il emploie une méthode d'adaptation au style cartoon avec un adaptateur spatial à faible rang pour adapter un modèle de fondation vidéo moderne au domaine du cartoon tout en préservant sa priorité temporelle. Nécessitant aussi peu qu'un seul croquis et une image de référence colorée, ToonComposer excelle avec des entrées éparses, tout en supportant plusieurs croquis à n'importe quel emplacement temporel pour un contrôle plus précis du mouvement. Cette double capacité réduit la charge de travail manuelle et améliore la flexibilité, offrant aux artistes un outil puissant dans des scénarios réels. Pour évaluer notre modèle, nous avons également créé PKBench, un benchmark comprenant des croquis dessinés à la main qui simulent des cas d'utilisation réels. Notre évaluation démontre que ToonComposer surpasse les méthodes existantes en termes de qualité visuelle, de cohérence du mouvement et d'efficacité de production, proposant une solution supérieure et plus flexible pour la production de cartoons assistée par l'IA.

English

Traditional cartoon and anime production involves keyframing, inbetweening, and colorization stages, which require intensive manual effort. Despite recent advances in AI, existing methods often handle these stages separately, leading to error accumulation and artifacts. For instance, inbetweening approaches struggle with large motions, while colorization methods require dense per-frame sketches. To address this, we introduce ToonComposer, a generative model that unifies inbetweening and colorization into a single post-keyframing stage. ToonComposer employs a sparse sketch injection mechanism to provide precise control using keyframe sketches. Additionally, it uses a cartoon adaptation method with the spatial low-rank adapter to tailor a modern video foundation model to the cartoon domain while keeping its temporal prior intact. Requiring as few as a single sketch and a colored reference frame, ToonComposer excels with sparse inputs, while also supporting multiple sketches at any temporal location for more precise motion control. This dual capability reduces manual workload and improves flexibility, empowering artists in real-world scenarios. To evaluate our model, we further created PKBench, a benchmark featuring human-drawn sketches that simulate real-world use cases. Our evaluation demonstrates that ToonComposer outperforms existing methods in visual quality, motion consistency, and production efficiency, offering a superior and more flexible solution for AI-assisted cartoon production.