Глубокое геометризированное промежуточное построение мультипликационных линий

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

Авторы: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

Аннотация

Мы стремимся решить важную, но недостаточно изученную проблему в аниме-индустрии, а именно создание промежуточных кадров (интерполяцию) для черно-белых линейных рисунков. Интерполяция предполагает генерацию промежуточных кадров между двумя линейными рисунками и является трудоемким и дорогостоящим процессом, который может быть автоматизирован. Однако существующие методы интерполяции кадров, основанные на сопоставлении и деформации растровых изображений, непригодны для интерполяции линий и часто создают размытые артефакты, которые повреждают сложные структуры линий. Чтобы сохранить точность и детализацию линейных рисунков, мы предлагаем новый подход, AnimeInbet, который преобразует растровые линейные рисунки в графы из конечных точек и переосмысливает задачу интерполяции как проблему слияния графов с перепозиционированием вершин. Наш метод эффективно учитывает разреженность и уникальную структуру линейных рисунков, сохраняя детали в процессе интерполяции. Это стало возможным благодаря нашим новым модулям: геометрическому встраиванию вершин, Transformer для соответствия вершин, эффективному механизму перепозиционирования вершин и предсказателю видимости. Для обучения нашего метода мы представляем MixamoLine240, новый набор данных линейных рисунков с эталонной векторной графикой и метками соответствия. Наши эксперименты показывают, что AnimeInbet синтезирует высококачественные, четкие и полные промежуточные линейные рисунки, превосходя существующие методы как количественно, так и качественно, особенно в случаях с большими движениями. Данные и код доступны по адресу https://github.com/lisiyao21/AnimeInbet.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.