Interpolazione Profonda di Linee Cartoon Geometrizzate

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

Autori: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

Abstract

Ci proponiamo di affrontare un problema significativo ma poco studiato nell'industria degli anime, ovvero l'inbetweening dei disegni a linee dei cartoni animati. L'inbetweening consiste nella generazione di fotogrammi intermedi tra due disegni a linee in bianco e nero ed è un processo dispendioso in termini di tempo e costi che può trarre vantaggio dall'automazione. Tuttavia, i metodi esistenti di interpolazione di fotogrammi che si basano sull'abbinamento e sulla deformazione di intere immagini raster sono inadatti per l'inbetweening di linee e spesso producono artefatti di sfocatura che danneggiano le intricate strutture lineari. Per preservare la precisione e i dettagli dei disegni a linee, proponiamo un nuovo approccio, AnimeInbet, che geometrizza i disegni a linee raster in grafi di punti finali e riformula il compito di inbetweening come un problema di fusione di grafi con riposizionamento dei vertici. Il nostro metodo è in grado di catturare efficacemente la sparsità e la struttura unica dei disegni a linee preservando i dettagli durante l'inbetweening. Ciò è reso possibile grazie ai nostri moduli innovativi, ovvero l'embedding geometrico dei vertici, un Transformer per la corrispondenza dei vertici, un meccanismo efficace per il riposizionamento dei vertici e un predittore di visibilità. Per addestrare il nostro metodo, introduciamo MixamoLine240, un nuovo dataset di disegni a linee con vettorizzazione e etichette di abbinamento di riferimento. I nostri esperimenti dimostrano che AnimeInbet sintetizza disegni a linee intermedi di alta qualità, puliti e completi, superando i metodi esistenti sia quantitativamente che qualitativamente, specialmente nei casi con movimenti ampi. Dati e codice sono disponibili all'indirizzo https://github.com/lisiyao21/AnimeInbet.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.