Décomposition rapide de sprites à partir de graphiques animés

Fast Sprite Decomposition from Animated Graphics

August 7, 2024

Auteurs: Tomoyuki Suzuki, Kotaro Kikuchi, Kota Yamaguchi

cs.AI

Résumé

Cet article présente une approche pour décomposer des graphiques animés en sprites, un ensemble d'éléments ou de couches de base. Notre approche repose sur l'optimisation des paramètres des sprites pour s'adapter à la vidéo raster. Pour plus d'efficacité, nous supposons des textures statiques pour les sprites afin de réduire l'espace de recherche tout en évitant les artefacts grâce à un modèle de priorité de texture. Pour accélérer davantage l'optimisation, nous introduisons l'initialisation des paramètres des sprites en utilisant un modèle pré-entraîné de segmentation d'objets vidéo et des annotations manuelles sur une seule image. Pour notre étude, nous avons construit le jeu de données Crello Animation à partir d'un service de conception en ligne et défini des métriques quantitatives pour mesurer la qualité des sprites extraits. Les expériences montrent que notre méthode surpasse significativement les approches de référence pour des tâches de décomposition similaires en termes de compromis qualité/efficacité.

English

This paper presents an approach to decomposing animated graphics into sprites, a set of basic elements or layers. Our approach builds on the optimization of sprite parameters to fit the raster video. For efficiency, we assume static textures for sprites to reduce the search space while preventing artifacts using a texture prior model. To further speed up the optimization, we introduce the initialization of the sprite parameters utilizing a pre-trained video object segmentation model and user input of single frame annotations. For our study, we construct the Crello Animation dataset from an online design service and define quantitative metrics to measure the quality of the extracted sprites. Experiments show that our method significantly outperforms baselines for similar decomposition tasks in terms of the quality/efficiency tradeoff.