심화 기하학적 만화 라인 중간 보간

Deep Geometrized Cartoon Line Inbetweening

September 28, 2023

저자: Li Siyao, Tianpei Gu, Weiye Xiao, Henghui Ding, Ziwei Liu, Chen Change Loy

cs.AI

초록

우리는 애니메이션 산업에서 중요하지만 충분히 연구되지 않은 문제, 즉 카툰 라인 드로잉의 인비트위닝(inbetweening)을 해결하고자 합니다. 인비트위닝은 두 개의 흑백 라인 드로잉 사이의 중간 프레임을 생성하는 과정으로, 시간이 많이 소요되고 비용이 많이 드는 작업이기 때문에 자동화를 통해 이점을 얻을 수 있습니다. 그러나 기존의 전체 래스터 이미지를 매칭하고 왜곡하는 방식의 프레임 보간 방법은 라인 인비트위닝에 적합하지 않으며, 종종 복잡한 라인 구조를 손상시키는 흐림 현상을 발생시킵니다. 라인 드로잉의 정밀함과 세부 사항을 보존하기 위해, 우리는 새로운 접근 방식인 AnimeInbet를 제안합니다. 이 방법은 래스터 라인 드로잉을 엔드포인트 그래프로 기하학화하고, 인비트위닝 작업을 정점 재배치를 포함한 그래프 융합 문제로 재구성합니다. 우리의 방법은 라인 드로잉의 희소성과 독특한 구조를 효과적으로 포착하면서도 인비트위닝 과정에서 세부 사항을 보존할 수 있습니다. 이는 우리의 새로운 모듈들, 즉 정점 기하학적 임베딩, 정점 대응 트랜스포머, 효과적인 정점 재배치 메커니즘, 그리고 가시성 예측기를 통해 가능해졌습니다. 우리의 방법을 학습시키기 위해, 우리는 MixamoLine240이라는 새로운 라인 드로잉 데이터셋을 소개합니다. 이 데이터셋은 정확한 벡터화와 매칭 레이블을 포함하고 있습니다. 우리의 실험 결과, AnimeInbet는 고품질의 깔끔하고 완전한 중간 라인 드로잉을 합성하며, 특히 큰 움직임이 있는 경우에 기존 방법들을 정량적 및 정성적으로 능가하는 성능을 보여줍니다. 데이터와 코드는 https://github.com/lisiyao21/AnimeInbet에서 확인할 수 있습니다.

English

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.