Movimiento por Movimiento: Transferencia de Movimiento entre Sujetos en Inferencia

Resumen

Este trabajo explora la transferencia de movimiento de un video a otro, aspecto crucial en la animación de personajes diversos. Anteriormente, la transferencia de movimiento en video se ha explorado ampliamente entre humanos y personajes similares a humanos, lo que ha permitido numerosas aplicaciones en la creación digital. Sin embargo, estos enfoques presentan una limitación principal. En concreto, los flujos técnicos relacionados dependen en gran medida de una estructura esquelética humana predefinida y, en consecuencia, requieren un entrenamiento de modelo condicionado al esqueleto. Por un lado, estos métodos son difíciles de generalizar a personajes diversos, como animales de diferentes especies, preservando al mismo tiempo sus estilos de movimiento únicos. Por otro lado, los datos etiquetados en esqueletos diversos son limitados, lo que restringe adicionalmente el entrenamiento a gran escala para la tarea. En este artículo, salimos del marco de transferencia de movimiento basado en esqueletos y proponemos un marco de transferencia de movimiento sin entrenamiento, denominado Motion4Motion. Motion4Motion modela el flujo de movimiento del personaje en un video en lugar de los esqueletos, lo que facilita la transferencia de movimiento entre especies. Resultados experimentales exhaustivos y aplicaciones novedosas demuestran que nuestros métodos superan significativamente a las líneas base. La página del proyecto está disponible en https://lhchen.top/Motion4Motion.

English

This work explores the motion transfer from one video to another, which is crucial in animation for diverse characters. Previously, video motion transfer has been largely explored between human and human-like characters, enabling a lot of applications in digital creation. However, these approaches encounter a main limitation. Specifically, related technical pipelines heavily rely on a predefined human skeleton structure and accordingly require skeleton-conditional model training. On the one hand, these methods are difficult to generalize to diverse characters, such as animals from different species, while preserving their unique motion styles. On the other hand, labeled data in diverse skeletons is limited, which additionally restricts the large-scale training for the task. In this paper, we jump out of the skeleton-based motion transfer framework and propose a training-free motion transfer framework, named Motion4Motion. Motion4Motionmodels the motion flow of the character in a video instead of skeletons, which makes motion transfer across species easier. Extensive experimental results and novel applications show our methods outperform baselines impressively. Project page is available at https://lhchen.top/Motion4Motion.