Interpolación Profunda de Líneas de Dibujos Animados Geometrizados

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

Autores: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

Resumen

Nuestro objetivo es abordar un problema significativo pero poco estudiado en la industria del anime: la interpolación de dibujos animados en línea. La interpolación implica generar fotogramas intermedios entre dos dibujos en blanco y negro y es un proceso que consume mucho tiempo y es costoso, lo que podría beneficiarse de la automatización. Sin embargo, los métodos existentes de interpolación de fotogramas que se basan en la coincidencia y deformación de imágenes rasterizadas completas no son adecuados para la interpolación de líneas y a menudo producen artefactos de desenfoque que dañan las intrincadas estructuras de las líneas. Para preservar la precisión y el detalle de los dibujos en línea, proponemos un nuevo enfoque, AnimeInbet, que geometriza los dibujos rasterizados en gráficos de puntos finales y reformula la tarea de interpolación como un problema de fusión de gráficos con reposicionamiento de vértices. Nuestro método puede capturar eficazmente la escasez y la estructura única de los dibujos en línea mientras preserva los detalles durante la interpolación. Esto es posible gracias a nuestros nuevos módulos, es decir, la incrustación geométrica de vértices, un Transformer de correspondencia de vértices, un mecanismo eficaz para el reposicionamiento de vértices y un predictor de visibilidad. Para entrenar nuestro método, presentamos MixamoLine240, un nuevo conjunto de datos de dibujos en línea con vectorización y etiquetas de coincidencia de referencia. Nuestros experimentos demuestran que AnimeInbet sintetiza dibujos intermedios en línea de alta calidad, limpios y completos, superando cuantitativa y cualitativamente a los métodos existentes, especialmente en casos con grandes movimientos. Los datos y el código están disponibles en https://github.com/lisiyao21/AnimeInbet.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.