ToonComposer: 생성형 포스트 키프레임을 통한 만화 제작 간소화

ToonComposer: Streamlining Cartoon Production with Generative Post-Keyframing

August 14, 2025

저자: Lingen Li, Guangzhi Wang, Zhaoyang Zhang, Yaowei Li, Xiaoyu Li, Qi Dou, Jinwei Gu, Tianfan Xue, Ying Shan

cs.AI

초록

전통적인 만화와 애니메이션 제작은 키프레임 작업, 인비트윈닝, 그리고 채색 단계로 이루어지며, 이는 많은 수작업을 필요로 합니다. 최근 AI 기술의 발전에도 불구하고, 기존 방법들은 이러한 단계를 별도로 처리하여 오류 누적과 아티팩트를 초래하는 경우가 많습니다. 예를 들어, 인비트윈닝 접근법은 큰 움직임을 처리하는 데 어려움을 겪고, 채색 방법들은 프레임별로 밀집된 스케치를 요구합니다. 이를 해결하기 위해, 우리는 인비트윈닝과 채색을 단일 키프레임 후 처리 단계로 통합한 생성 모델인 ToonComposer를 소개합니다. ToonComposer는 키프레임 스케치를 사용하여 정밀한 제어를 제공하기 위해 희소 스케치 주입 메커니즘을 사용합니다. 또한, 공간적 저순위 어댑터를 활용한 만화 적응 방법을 통해 현대 비디오 기반 모델을 만화 도메인에 맞게 조정하면서도 시간적 사전 정보를 유지합니다. 단일 스케치와 색상 참조 프레임만으로도 ToonComposer는 희소 입력에서 뛰어난 성능을 발휘하며, 더 정밀한 움직임 제어를 위해 임의의 시간적 위치에서 여러 스케치를 지원합니다. 이러한 이중 기능은 수작업 부담을 줄이고 유연성을 높여 실무에서 아티스트들의 작업을 지원합니다. 우리의 모델을 평가하기 위해, 실제 사용 사례를 시뮬레이션한 인간이 그린 스케치를 포함한 PKBench 벤치마크를 추가로 개발했습니다. 평가 결과, ToonComposer는 시각적 품질, 움직임 일관성, 그리고 제작 효율성 측면에서 기존 방법들을 능가하며, AI 지원 만화 제작을 위한 우수하고 더 유연한 솔루션을 제공합니다.

English

Traditional cartoon and anime production involves keyframing, inbetweening, and colorization stages, which require intensive manual effort. Despite recent advances in AI, existing methods often handle these stages separately, leading to error accumulation and artifacts. For instance, inbetweening approaches struggle with large motions, while colorization methods require dense per-frame sketches. To address this, we introduce ToonComposer, a generative model that unifies inbetweening and colorization into a single post-keyframing stage. ToonComposer employs a sparse sketch injection mechanism to provide precise control using keyframe sketches. Additionally, it uses a cartoon adaptation method with the spatial low-rank adapter to tailor a modern video foundation model to the cartoon domain while keeping its temporal prior intact. Requiring as few as a single sketch and a colored reference frame, ToonComposer excels with sparse inputs, while also supporting multiple sketches at any temporal location for more precise motion control. This dual capability reduces manual workload and improves flexibility, empowering artists in real-world scenarios. To evaluate our model, we further created PKBench, a benchmark featuring human-drawn sketches that simulate real-world use cases. Our evaluation demonstrates that ToonComposer outperforms existing methods in visual quality, motion consistency, and production efficiency, offering a superior and more flexible solution for AI-assisted cartoon production.