Motion4Motion: Перенос движения между субъектами на этапе вывода

Аннотация

В данной работе исследуется перенос движений из одного видео в другое, что имеет решающее значение в анимации для разнообразных персонажей. Ранее перенос движений в видео в основном изучался между людьми и человекоподобными персонажами, что открывало множество возможностей для цифрового творчества. Однако эти подходы сталкиваются с основным ограничением. В частности, соответствующие технические pipelines сильно зависят от заранее заданной скелетной структуры человека и, соответственно, требуют обучения модели с учетом скелета. С одной стороны, эти методы трудно обобщить на разнообразных персонажей, например, животных разных видов, сохраняя при этом их уникальные стили движений. С другой стороны, размеченные данные для различных скелетов ограничены, что дополнительно сужает возможности масштабного обучения для данной задачи. В этой статье мы выходим за рамки скелетно-ориентированного подхода к переносу движений и предлагаем framework для переноса движений без обучения, названный Motion4Motion. Motion4Motion моделирует поток движений персонажа в видео вместо скелетов, что упрощает перенос движений между разными видами. Многочисленные экспериментальные результаты и новые приложения показывают, что наши методы значительно превосходят базовые подходы. Страница проекта доступна по адресу https://lhchen.top/Motion4Motion.

English

This work explores the motion transfer from one video to another, which is crucial in animation for diverse characters. Previously, video motion transfer has been largely explored between human and human-like characters, enabling a lot of applications in digital creation. However, these approaches encounter a main limitation. Specifically, related technical pipelines heavily rely on a predefined human skeleton structure and accordingly require skeleton-conditional model training. On the one hand, these methods are difficult to generalize to diverse characters, such as animals from different species, while preserving their unique motion styles. On the other hand, labeled data in diverse skeletons is limited, which additionally restricts the large-scale training for the task. In this paper, we jump out of the skeleton-based motion transfer framework and propose a training-free motion transfer framework, named Motion4Motion. Motion4Motionmodels the motion flow of the character in a video instead of skeletons, which makes motion transfer across species easier. Extensive experimental results and novel applications show our methods outperform baselines impressively. Project page is available at https://lhchen.top/Motion4Motion.