Descomposición rápida de sprites a partir de gráficos animados

Fast Sprite Decomposition from Animated Graphics

August 7, 2024

Autores: Tomoyuki Suzuki, Kotaro Kikuchi, Kota Yamaguchi

cs.AI

Resumen

Este documento presenta un enfoque para descomponer gráficos animados en sprites, un conjunto de elementos o capas básicas. Nuestro enfoque se basa en la optimización de los parámetros del sprite para ajustarse al video rasterizado. Para ser eficientes, asumimos texturas estáticas para los sprites para reducir el espacio de búsqueda y evitar artefactos utilizando un modelo previo de textura. Para acelerar aún más la optimización, introducimos la inicialización de los parámetros del sprite utilizando un modelo pre-entrenado de segmentación de objetos de video y la entrada del usuario de anotaciones de un solo fotograma. Para nuestro estudio, construimos el conjunto de datos de animación de Crello a partir de un servicio de diseño en línea y definimos métricas cuantitativas para medir la calidad de los sprites extraídos. Los experimentos muestran que nuestro método supera significativamente a los baselines para tareas de descomposición similares en términos del equilibrio calidad/eficiencia.

English

This paper presents an approach to decomposing animated graphics into sprites, a set of basic elements or layers. Our approach builds on the optimization of sprite parameters to fit the raster video. For efficiency, we assume static textures for sprites to reduce the search space while preventing artifacts using a texture prior model. To further speed up the optimization, we introduce the initialization of the sprite parameters utilizing a pre-trained video object segmentation model and user input of single frame annotations. For our study, we construct the Crello Animation dataset from an online design service and define quantitative metrics to measure the quality of the extracted sprites. Experiments show that our method significantly outperforms baselines for similar decomposition tasks in terms of the quality/efficiency tradeoff.