Быстрое разложение спрайтов из анимированной графики

Fast Sprite Decomposition from Animated Graphics

August 7, 2024

Авторы: Tomoyuki Suzuki, Kotaro Kikuchi, Kota Yamaguchi

cs.AI

Аннотация

В данной статье представлен подход к декомпозиции анимированной графики на спрайты, набор базовых элементов или слоев. Наш подход основан на оптимизации параметров спрайтов для соответствия растровому видео. Для повышения эффективности мы предполагаем использование статических текстур для спрайтов для уменьшения пространства поиска и предотвращения артефактов с помощью модели текстурного приора. Для дальнейшего ускорения оптимизации мы вводим инициализацию параметров спрайтов с использованием предварительно обученной модели сегментации объектов на видео и пользовательского ввода однокадровых аннотаций. Для нашего исследования мы создаем набор данных Crello Animation из онлайн-сервиса дизайна и определяем количественные метрики для измерения качества извлеченных спрайтов. Эксперименты показывают, что наш метод значительно превосходит базовые решения для аналогичных задач декомпозиции с точки зрения компромисса между качеством и эффективностью.

English

This paper presents an approach to decomposing animated graphics into sprites, a set of basic elements or layers. Our approach builds on the optimization of sprite parameters to fit the raster video. For efficiency, we assume static textures for sprites to reduce the search space while preventing artifacts using a texture prior model. To further speed up the optimization, we introduce the initialization of the sprite parameters utilizing a pre-trained video object segmentation model and user input of single frame annotations. For our study, we construct the Crello Animation dataset from an online design service and define quantitative metrics to measure the quality of the extracted sprites. Experiments show that our method significantly outperforms baselines for similar decomposition tasks in terms of the quality/efficiency tradeoff.