Motion4Motion: Transferência de Movimento entre Sujeitos na Inferência

Resumo

Este trabalho explora a transferência de movimento de um vídeo para outro, crucial na animação para personagens diversos. Anteriormente, a transferência de movimento em vídeo foi amplamente explorada entre personagens humanos e humanoides, possibilitando muitas aplicações na criação digital. No entanto, essas abordagens encontram uma limitação principal. Especificamente, os pipelines técnicos relacionados dependem fortemente de uma estrutura de esqueleto humano predefinida e, consequentemente, exigem treinamento de modelo condicionado ao esqueleto. Por um lado, esses métodos são difíceis de generalizar para personagens diversos, como animais de diferentes espécies, preservando seus estilos de movimento únicos. Por outro lado, os dados rotulados em esqueletos diversos são limitados, o que adicionalmente restringe o treinamento em larga escala para a tarefa. Neste artigo, saímos do framework de transferência de movimento baseado em esqueleto e propomos um framework de transferência de movimento sem treinamento, chamado Motion4Motion. O Motion4Motion modela o fluxo de movimento do personagem em um vídeo em vez de esqueletos, o que facilita a transferência de movimento entre espécies. Resultados experimentais extensivos e aplicações inovadoras mostram que nossos métodos superam as linhas de base de forma impressionante. A página do projeto está disponível em https://lhchen.top/Motion4Motion.

English

This work explores the motion transfer from one video to another, which is crucial in animation for diverse characters. Previously, video motion transfer has been largely explored between human and human-like characters, enabling a lot of applications in digital creation. However, these approaches encounter a main limitation. Specifically, related technical pipelines heavily rely on a predefined human skeleton structure and accordingly require skeleton-conditional model training. On the one hand, these methods are difficult to generalize to diverse characters, such as animals from different species, while preserving their unique motion styles. On the other hand, labeled data in diverse skeletons is limited, which additionally restricts the large-scale training for the task. In this paper, we jump out of the skeleton-based motion transfer framework and propose a training-free motion transfer framework, named Motion4Motion. Motion4Motionmodels the motion flow of the character in a video instead of skeletons, which makes motion transfer across species easier. Extensive experimental results and novel applications show our methods outperform baselines impressively. Project page is available at https://lhchen.top/Motion4Motion.