Motion4Motion: 推論時における被写体間のモーション転送

要旨

本研究では、アニメーションにおける多様なキャラクターへの応用が重要な、動画間のモーション転送について探求する。従来、動画のモーション転送は人間や人間に類似したキャラクター間での研究が主流であり、デジタル創作における多くの応用を可能にしてきた。しかし、これらの手法には大きな限界がある。具体的には、関連する技術的パイプラインは事前定義された人間の骨格構造に大きく依存しており、そのため骨格を条件としたモデル学習が必要となる。一方で、これらの手法は、動物など異なる種に属する多様なキャラクターに対して、その独自の動作スタイルを保持したまま一般化することが困難である。他方で、多様な骨格におけるラベル付きデータが限られているため、このタスクの大規模学習がさらに制限される。本論文では、骨格ベースのモーション転送フレームワークから脱却し、学習不要のモーション転送フレームワーク「Motion4Motion」を提案する。Motion4Motionは動画内のキャラクターの骨格ではなくモーションフローをモデル化することで、種を超えたモーション転送を容易にする。広範な実験結果と新規アプリケーションにより、本手法がベースラインを大幅に上回る性能を示すことが明らかになった。プロジェクトページは https://lhchen.top/Motion4Motion からアクセス可能である。

English

This work explores the motion transfer from one video to another, which is crucial in animation for diverse characters. Previously, video motion transfer has been largely explored between human and human-like characters, enabling a lot of applications in digital creation. However, these approaches encounter a main limitation. Specifically, related technical pipelines heavily rely on a predefined human skeleton structure and accordingly require skeleton-conditional model training. On the one hand, these methods are difficult to generalize to diverse characters, such as animals from different species, while preserving their unique motion styles. On the other hand, labeled data in diverse skeletons is limited, which additionally restricts the large-scale training for the task. In this paper, we jump out of the skeleton-based motion transfer framework and propose a training-free motion transfer framework, named Motion4Motion. Motion4Motionmodels the motion flow of the character in a video instead of skeletons, which makes motion transfer across species easier. Extensive experimental results and novel applications show our methods outperform baselines impressively. Project page is available at https://lhchen.top/Motion4Motion.