AniDoc: Die Erstellung von Animationen leicht gemacht

AniDoc: Animation Creation Made Easier

December 18, 2024

Autoren: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

Zusammenfassung

Die Produktion von 2D-Animation folgt einem branchenüblichen Workflow, der vier wesentliche Phasen umfasst: Charakterdesign, Keyframe-Animation, Zwischenzeichnung und Kolorierung. Unsere Forschung konzentriert sich darauf, die Arbeitskosten in diesem Prozess zu reduzieren, indem das Potenzial der zunehmend leistungsstarken generativen KI genutzt wird. Unter Verwendung von Videodiffusionsmodellen als Grundlage entsteht AniDoc als ein Werkzeug zur Farbgebung von Videostrichzeichnungen, das Skizzenfolgen automatisch in farbige Animationen gemäß den Referenzcharakterspezifikationen umwandelt. Unser Modell nutzt die Korrespondenzanpassung als explizite Anleitung und erzielt damit eine hohe Robustheit gegenüber den Variationen (z.B. Haltung) zwischen dem Referenzcharakter und jedem Strichzeichnungsrahmen. Darüber hinaus könnte unser Modell sogar den Zwischenzeichnungsprozess automatisieren, sodass Benutzer ganz einfach eine zeitlich konsistente Animation erstellen können, indem sie einfach ein Charakterbild sowie die Start- und Endskizzen bereitstellen. Unser Code ist verfügbar unter: https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.