AniDoc: упрощение создания анимации

AniDoc: Animation Creation Made Easier

December 18, 2024

Авторы: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

Аннотация

Производство 2D анимации следует стандартному рабочему процессу отрасли, включающему четыре основных этапа: создание персонажа, ключевая анимация, создание промежуточных кадров и окрашивание. Наше исследование направлено на снижение трудозатрат в вышеуказанном процессе путем использования потенциала все более мощного генеративного искусственного интеллекта. Используя модели видеодиффузии в качестве основы, AniDoc представляет собой инструмент для раскрашивания видео-линейных чертежей, который автоматически преобразует последовательности эскизов в цветные анимации в соответствии с характеристиками опорного персонажа. Наша модель использует соответствие сопоставления как явное руководство, обеспечивая высокую устойчивость к изменениям (например, поза) между опорным персонажем и каждым кадром линейного рисунка. Кроме того, наша модель может даже автоматизировать процесс создания промежуточных кадров, таким образом, пользователи могут легко создавать временно согласованную анимацию, просто предоставив изображение персонажа, а также начальный и конечный эскизы. Наш код доступен по ссылке: https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.