Interpolação Profunda de Linhas de Desenho Animado Geometrizado

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

Autores: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

Resumo

Nosso objetivo é abordar um problema significativo, mas pouco estudado na indústria de animes, especificamente a interpolação de desenhos animados em linha. A interpolação envolve a geração de quadros intermediários entre dois desenhos em preto e branco e é um processo demorado e caro que pode se beneficiar da automação. No entanto, os métodos existentes de interpolação de quadros que dependem do emparelhamento e deformação de imagens raster inteiras são inadequados para a interpolação de linhas e frequentemente produzem artefatos de borrão que danificam as estruturas intricadas das linhas. Para preservar a precisão e os detalhes dos desenhos em linha, propomos uma nova abordagem, o AnimeInbet, que geometriza desenhos raster em linha em grafos de pontos finais e reformula a tarefa de interpolação como um problema de fusão de grafos com reposicionamento de vértices. Nosso método pode capturar efetivamente a esparsidade e a estrutura única dos desenhos em linha, preservando os detalhes durante a interpolação. Isso é possibilitado por nossos novos módulos, ou seja, incorporação geométrica de vértices, um Transformer de correspondência de vértices, um mecanismo eficaz para reposicionamento de vértices e um preditor de visibilidade. Para treinar nosso método, introduzimos o MixamoLine240, um novo conjunto de dados de desenhos em linha com vetorização e rótulos de correspondência de verdade fundamental. Nossos experimentos demonstram que o AnimeInbet sintetiza desenhos intermediários em linha de alta qualidade, limpos e completos, superando os métodos existentes quantitativa e qualitativamente, especialmente em casos com grandes movimentos. Dados e código estão disponíveis em https://github.com/lisiyao21/AnimeInbet.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.