Tiefengeometrisiertes Karikaturlinien-Zwischenzeichnen

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

Autoren: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

Zusammenfassung

Wir beabsichtigen, ein bedeutendes, aber bisher wenig erforschtes Problem in der Anime-Branche anzugehen, nämlich das Inbetweening von Cartoon-Linienzeichnungen. Inbetweening beinhaltet die Erzeugung von Zwischenbildern zwischen zwei schwarz-weißen Linienzeichnungen und ist ein zeitaufwändiger und kostspieliger Prozess, der von Automatisierung profitieren kann. Bestehende Methoden zur Bildinterpolation, die auf der Übereinstimmung und Verzerrung ganzer Rasterbilder basieren, sind jedoch für das Inbetweening von Linien ungeeignet und erzeugen oft Unschärfeartefakte, die die komplexen Linienstrukturen beschädigen. Um die Präzision und Detailtreue der Linienzeichnungen zu bewahren, schlagen wir einen neuen Ansatz vor, AnimeInbet, der Rasterlinienzeichnungen in Graphen von Endpunkten geometrisiert und die Inbetweening-Aufgabe als ein Graph-Fusionsproblem mit Knoten-Neuplatzierung umformuliert. Unsere Methode kann effektiv die Sparsamkeit und einzigartige Struktur von Linienzeichnungen erfassen und gleichzeitig die Details während des Inbetweenings bewahren. Dies wird durch unsere neuartigen Module ermöglicht, d.h. die geometrische Einbettung von Knoten, einen Transformer für die Knotenkorrespondenz, einen effektiven Mechanismus für die Knoten-Neuplatzierung und einen Sichtbarkeitsvorhersager. Um unsere Methode zu trainieren, stellen wir MixamoLine240 vor, einen neuen Datensatz von Linienzeichnungen mit Ground-Truth-Vektorisierung und Übereinstimmungsetiketten. Unsere Experimente zeigen, dass AnimeInbet hochwertige, saubere und vollständige Zwischenlinienzeichnungen synthetisiert und bestehende Methoden quantitativ und qualitativ übertrifft, insbesondere bei Fällen mit großen Bewegungen. Daten und Code sind verfügbar unter https://github.com/lisiyao21/AnimeInbet.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.