アニメーショングラフィックスからの高速スプライト分解

Fast Sprite Decomposition from Animated Graphics

August 7, 2024

著者: Tomoyuki Suzuki, Kotaro Kikuchi, Kota Yamaguchi

cs.AI

要旨

本論文では、アニメーショングラフィックスをスプライト（基本要素またはレイヤーの集合）に分解するアプローチを提案する。本手法は、ラスタービデオに適合するようスプライトパラメータを最適化することを基盤としている。効率性を考慮し、スプライトのテクスチャを静的と仮定することで探索空間を縮小しつつ、テクスチャ事前モデルを用いてアーティファクトを防止する。さらに最適化を高速化するため、事前学習済みのビデオオブジェクトセグメンテーションモデルと単一フレームのユーザーアノテーションを活用したスプライトパラメータの初期化を導入する。本研究では、オンラインデザインサービスからCrello Animationデータセットを構築し、抽出されたスプライトの品質を測定するための定量的な指標を定義した。実験結果から、本手法は類似の分解タスクにおいて品質と効率性のトレードオフの観点でベースラインを大幅に上回ることを示す。

English

This paper presents an approach to decomposing animated graphics into sprites, a set of basic elements or layers. Our approach builds on the optimization of sprite parameters to fit the raster video. For efficiency, we assume static textures for sprites to reduce the search space while preventing artifacts using a texture prior model. To further speed up the optimization, we introduce the initialization of the sprite parameters utilizing a pre-trained video object segmentation model and user input of single frame annotations. For our study, we construct the Crello Animation dataset from an online design service and define quantitative metrics to measure the quality of the extracted sprites. Experiments show that our method significantly outperforms baselines for similar decomposition tasks in terms of the quality/efficiency tradeoff.