深層幾何化カートゥーン線画中間フレーム生成

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

著者: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

要旨

私たちは、アニメ産業において重要でありながら十分に研究されていない課題、すなわちカートゥーン線画のインビトゥイーニングに取り組むことを目指しています。インビトゥイーニングは、2つの白黒線画の中間フレームを生成するプロセスであり、時間とコストがかかるため、自動化の恩恵を受けることができます。しかし、ラスター画像全体のマッチングとワープに依存する既存のフレーム補間手法は、線画のインビトゥイーニングには不向きであり、しばしば繊細な線構造を損なうぼやけたアーティファクトを生成します。線画の精度とディテールを保つために、私たちは新しいアプローチであるAnimeInbetを提案します。これは、ラスター線画を端点のグラフに幾何学的に変換し、インビトゥイーニングタスクを頂点再配置を伴うグラフ融合問題として再定義します。私たちの手法は、線画のスパース性と独特の構造を効果的に捉えながら、インビトゥイーニング中にディテールを保持することができます。これは、私たちの新しいモジュール、すなわち頂点幾何埋め込み、頂点対応Transformer、効果的な頂点再配置メカニズム、および可視性予測器によって可能になります。私たちの手法を訓練するために、MixamoLine240という新しい線画データセットを導入します。これは、グラウンドトゥルースのベクタライゼーションとマッチングラベルを備えています。私たちの実験は、AnimeInbetが高品質でクリーンかつ完全な中間線画を合成し、特に大きな動きがある場合において、既存の手法を量的および質的に上回ることを示しています。データとコードはhttps://github.com/lisiyao21/AnimeInbetで利用可能です。

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.