Decomposição Rápida de Sprites a partir de Gráficos Animados

Fast Sprite Decomposition from Animated Graphics

August 7, 2024

Autores: Tomoyuki Suzuki, Kotaro Kikuchi, Kota Yamaguchi

cs.AI

Resumo

Este artigo apresenta uma abordagem para decompor gráficos animados em sprites, um conjunto de elementos ou camadas básicas. Nossa abordagem se baseia na otimização dos parâmetros do sprite para se ajustar ao vídeo raster. Para eficiência, assumimos texturas estáticas para os sprites a fim de reduzir o espaço de busca, ao mesmo tempo que evitamos artefatos utilizando um modelo de textura prévia. Para acelerar ainda mais a otimização, introduzimos a inicialização dos parâmetros do sprite utilizando um modelo de segmentação de objetos de vídeo pré-treinado e a entrada do usuário de anotações de um único quadro. Para nosso estudo, construímos o conjunto de dados de Animação Crello a partir de um serviço de design online e definimos métricas quantitativas para medir a qualidade dos sprites extraídos. Experimentos mostram que nosso método supera significativamente os baselines para tarefas de decomposição semelhantes em termos de compensação qualidade/eficiência.

English

This paper presents an approach to decomposing animated graphics into sprites, a set of basic elements or layers. Our approach builds on the optimization of sprite parameters to fit the raster video. For efficiency, we assume static textures for sprites to reduce the search space while preventing artifacts using a texture prior model. To further speed up the optimization, we introduce the initialization of the sprite parameters utilizing a pre-trained video object segmentation model and user input of single frame annotations. For our study, we construct the Crello Animation dataset from an online design service and define quantitative metrics to measure the quality of the extracted sprites. Experiments show that our method significantly outperforms baselines for similar decomposition tasks in terms of the quality/efficiency tradeoff.