AniDoc: Het makkelijker maken van animatiecreatie

AniDoc: Animation Creation Made Easier

December 18, 2024

Auteurs: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

Samenvatting

De productie van 2D-animatie volgt een industriestandaard workflow, bestaande uit vier essentiële fasen: karakterontwerp, keyframe-animatie, tussentijdse animatie en kleuring. Ons onderzoek richt zich op het verminderen van de arbeidskosten in het bovenstaande proces door het benutten van het potentieel van steeds krachtigere generatieve AI. Door videodiffusiemodellen als basis te gebruiken, komt AniDoc naar voren als een tool voor het inkleuren van video-lijntekeningen, die schetsreeksen automatisch omzet in gekleurde animaties volgens de specificatie van het referentiepersonage. Ons model maakt gebruik van overeenkomstige matching als expliciete begeleiding, wat resulteert in een sterke robuustheid tegen variaties (bijv. houding) tussen het referentiepersonage en elk lijntekeningframe. Bovendien kan ons model zelfs het tussentijdse animatieproces automatiseren, zodat gebruikers eenvoudig een temporeel consistente animatie kunnen maken door simpelweg een karakterafbeelding en de start- en eindschetsen te verstrekken. Onze code is beschikbaar op: https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.