AniDoc : Simplification de la création d'animations

AniDoc: Animation Creation Made Easier

December 18, 2024

Auteurs: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

Résumé

La production d'animations 2D suit un flux de travail standard de l'industrie, comprenant quatre étapes essentielles : la conception des personnages, l'animation par images clés, l'interpolation et la mise en couleur. Notre recherche se concentre sur la réduction des coûts de main-d'œuvre dans le processus susmentionné en exploitant le potentiel des technologies génératives de l'IA de plus en plus puissantes. En utilisant des modèles de diffusion vidéo comme base, AniDoc se présente comme un outil de colorisation de dessins animés en ligne vidéo, qui convertit automatiquement les séquences de croquis en animations colorées suivant les spécifications du personnage de référence. Notre modèle exploite la correspondance des motifs comme guide explicite, offrant une grande robustesse aux variations (par exemple, la posture) entre le personnage de référence et chaque image en ligne. De plus, notre modèle pourrait même automatiser le processus d'interpolation, permettant aux utilisateurs de créer facilement une animation temporellement cohérente en fournissant simplement une image de personnage ainsi que les croquis de début et de fin. Notre code est disponible sur : https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.