AniDoc: Creación de Animaciones Simplificada

AniDoc: Animation Creation Made Easier

December 18, 2024

Autores: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

Resumen

La producción de animación 2D sigue un flujo de trabajo estándar en la industria, que abarca cuatro etapas esenciales: diseño de personajes, animación de fotogramas clave, intercalado y coloración. Nuestra investigación se centra en reducir los costos laborales en el proceso mencionado, aprovechando el potencial de la inteligencia artificial generativa cada vez más poderosa. Utilizando modelos de difusión de video como base, AniDoc surge como una herramienta de colorización de líneas de video, que convierte automáticamente secuencias de bocetos en animaciones a color siguiendo la especificación del personaje de referencia. Nuestro modelo explota el emparejamiento de correspondencias como una guía explícita, lo que proporciona una gran robustez a las variaciones (por ejemplo, postura) entre el personaje de referencia y cada fotograma de línea de arte. Además, nuestro modelo podría automatizar incluso el proceso de intercalado, de modo que los usuarios puedan crear fácilmente una animación temporalmente consistente simplemente proporcionando una imagen de personaje, así como los bocetos de inicio y final. Nuestro código está disponible en: https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.