Motion4Motion : Transfert de mouvement entre sujets lors de l'inférence

Résumé

Ce travail explore le transfert de mouvement d'une vidéo à une autre, un aspect crucial de l'animation pour des personnages variés. Auparavant, le transfert de mouvement vidéo a été largement étudié entre humains et personnages humanoïdes, permettant de nombreuses applications dans la création numérique. Cependant, ces approches rencontrent une limitation majeure. Plus précisément, les pipelines techniques associés reposent fortement sur une structure squelettique humaine prédéfinie et exigent en conséquence un entraînement de modèle conditionné par le squelette. D'une part, ces méthodes sont difficiles à généraliser à des personnages divers, tels que des animaux d'espèces différentes, tout en préservant leurs styles de mouvement uniques. D'autre part, les données annotées pour divers squelettes sont limitées, ce qui restreint également l'entraînement à grande échelle pour cette tâche. Dans cet article, nous sortons du cadre du transfert de mouvement basé sur le squelette et proposons un cadre de transfert de mouvement sans entraînement, nommé Motion4Motion. Motion4Motion modélise le flux de mouvement du personnage dans une vidéo plutôt que son squelette, ce qui facilite le transfert de mouvement entre espèces. Des résultats expérimentaux étendus et des applications novatrices montrent que nos méthodes surpassent nettement les méthodes de référence. Une page projet est disponible à l'adresse https://lhchen.top/Motion4Motion.

English

This work explores the motion transfer from one video to another, which is crucial in animation for diverse characters. Previously, video motion transfer has been largely explored between human and human-like characters, enabling a lot of applications in digital creation. However, these approaches encounter a main limitation. Specifically, related technical pipelines heavily rely on a predefined human skeleton structure and accordingly require skeleton-conditional model training. On the one hand, these methods are difficult to generalize to diverse characters, such as animals from different species, while preserving their unique motion styles. On the other hand, labeled data in diverse skeletons is limited, which additionally restricts the large-scale training for the task. In this paper, we jump out of the skeleton-based motion transfer framework and propose a training-free motion transfer framework, named Motion4Motion. Motion4Motionmodels the motion flow of the character in a video instead of skeletons, which makes motion transfer across species easier. Extensive experimental results and novel applications show our methods outperform baselines impressively. Project page is available at https://lhchen.top/Motion4Motion.