Diep Geometrisch Tussenframe voor Cartoonlijnen

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

Auteurs: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

Samenvatting

We streven ernaar een belangrijk maar onderbelicht probleem in de anime-industrie aan te pakken, namelijk het inbetweenen van cartoonlijntekeningen. Inbetweenen houdt in het genereren van tussenliggende frames tussen twee zwart-wit lijntekeningen en is een tijdrovend en kostbaar proces dat baat kan hebben bij automatisering. Bestaande methoden voor frame-interpolatie die afhankelijk zijn van het matchen en vervormen van volledige rasterafbeeldingen, zijn echter ongeschikt voor lijninbetweening en produceren vaak vervagingsartefacten die de ingewikkelde lijnstructuren beschadigen. Om de precisie en detaillering van de lijntekeningen te behouden, stellen we een nieuwe aanpak voor, AnimeInbet, die rasterlijntekeningen geometriseert in grafieken van eindpunten en de inbetweening-taak herformuleert als een grafiekfusieprobleem met herpositionering van hoekpunten. Onze methode kan effectief de schaarsheid en unieke structuur van lijntekeningen vastleggen terwijl de details tijdens het inbetweenen behouden blijven. Dit wordt mogelijk gemaakt door onze nieuwe modules, namelijk geometrische inbedding van hoekpunten, een Transformer voor hoekpuntcorrespondentie, een effectief mechanisme voor herpositionering van hoekpunten en een zichtbaarheidsvoorspeller. Om onze methode te trainen, introduceren we MixamoLine240, een nieuwe dataset van lijntekeningen met grondwaarheidsvectorisatie en matchende labels. Onze experimenten tonen aan dat AnimeInbet hoogwaardige, schone en complete tussenliggende lijntekeningen synthetiseert, waarbij het bestaande methoden zowel kwantitatief als kwalitatief overtreft, vooral in gevallen met grote bewegingen. Data en code zijn beschikbaar op https://github.com/lisiyao21/AnimeInbet.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.