Motion4Motion: Bewegingsoverdracht tussen subjecten bij inferentie

Samenvatting

Dit werk verkent de bewegingsoverdracht van de ene video naar de andere, wat cruciaal is in animatie voor uiteenlopende karakters. Eerder werd video-bewegingsoverdracht grotendeels onderzocht tussen menselijke en mensachtige karakters, wat veel toepassingen in digitale creatie mogelijk maakte. Deze benaderingen stuiten echter op een belangrijke beperking. Specifiek zijn de gerelateerde technische pijplijnen sterk afhankelijk van een vooraf gedefinieerde menselijke skeletstructuur en vereisen dienovereenkomstig skelet-afhankelijke modeltraining. Aan de ene kant zijn deze methoden moeilijk te generaliseren naar diverse karakters, zoals dieren van verschillende soorten, terwijl hun unieke bewegingsstijlen behouden blijven. Aan de andere kant is gelabelde data voor diverse skeletten beperkt, wat de grootschalige training voor deze taak extra beperkt. In dit artikel stappen we uit het skelet-gebaseerde bewegingsoverdrachtskader en stellen we een trainingsvrij bewegingsoverdrachtskader voor, genaamd Motion4Motion. Motion4Motion modelleert de bewegingsstroom van het karakter in een video in plaats van skeletten, wat bewegingsoverdracht over soorten heen vergemakkelijkt. Uitgebreide experimentele resultaten en nieuwe toepassingen tonen aan dat onze methoden de basislijnen aanzienlijk overtreffen. De projectpagina is beschikbaar op https://lhchen.top/Motion4Motion.

English

This work explores the motion transfer from one video to another, which is crucial in animation for diverse characters. Previously, video motion transfer has been largely explored between human and human-like characters, enabling a lot of applications in digital creation. However, these approaches encounter a main limitation. Specifically, related technical pipelines heavily rely on a predefined human skeleton structure and accordingly require skeleton-conditional model training. On the one hand, these methods are difficult to generalize to diverse characters, such as animals from different species, while preserving their unique motion styles. On the other hand, labeled data in diverse skeletons is limited, which additionally restricts the large-scale training for the task. In this paper, we jump out of the skeleton-based motion transfer framework and propose a training-free motion transfer framework, named Motion4Motion. Motion4Motionmodels the motion flow of the character in a video instead of skeletons, which makes motion transfer across species easier. Extensive experimental results and novel applications show our methods outperform baselines impressively. Project page is available at https://lhchen.top/Motion4Motion.