Interpolation profonde de lignes de dessin animé géométrisées

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

Auteurs: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

Résumé

Nous visons à aborder un problème important mais peu étudié dans l'industrie de l'anime, à savoir l'interpolation des dessins animés en lignes. L'interpolation consiste à générer des images intermédiaires entre deux dessins en noir et blanc, un processus long et coûteux qui pourrait bénéficier d'une automatisation. Cependant, les méthodes existantes d'interpolation d'images, qui reposent sur l'appariement et la déformation d'images raster entières, ne conviennent pas à l'interpolation de lignes et produisent souvent des artefacts de flou qui endommagent les structures complexes des lignes. Pour préserver la précision et les détails des dessins en lignes, nous proposons une nouvelle approche, AnimeInbet, qui géométrise les dessins raster en graphes de points d'extrémité et reformule la tâche d'interpolation comme un problème de fusion de graphes avec repositionnement des sommets. Notre méthode peut capturer efficacement la sparsité et la structure unique des dessins en lignes tout en préservant les détails lors de l'interpolation. Cela est rendu possible grâce à nos nouveaux modules, à savoir l'encastrement géométrique des sommets, un Transformer de correspondance des sommets, un mécanisme efficace de repositionnement des sommets et un prédicteur de visibilité. Pour entraîner notre méthode, nous introduisons MixamoLine240, un nouveau jeu de données de dessins en lignes avec une vectorisation et des étiquettes d'appariement de référence. Nos expériences démontrent qu'AnimeInbet synthétise des dessins intermédiaires en lignes de haute qualité, nets et complets, surpassant les méthodes existantes quantitativement et qualitativement, en particulier dans les cas de mouvements importants. Les données et le code sont disponibles à l'adresse https://github.com/lisiyao21/AnimeInbet.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.