Синтез движения на основе примеров с использованием генеративного сопоставления движений

Example-based Motion Synthesis via Generative Motion Matching

June 1, 2023

Авторы: Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

cs.AI

Аннотация

Мы представляем GenMM, генеративную модель, которая "извлекает" максимально разнообразные движения из одного или нескольких примеров последовательностей. В отличие от существующих методов, основанных на данных, которые обычно требуют длительного времени для обучения, склонны к визуальным артефактам и часто не справляются с крупными и сложными скелетами, GenMM наследует отсутствие необходимости в обучении и превосходное качество известного метода Motion Matching. GenMM способна синтезировать высококачественное движение за доли секунды, даже для сложных и крупных скелетных структур. В основе нашей генеративной структуры лежит модуль генеративного сопоставления движений, который использует двунаправленное визуальное сходство в качестве генеративной функции стоимости для сопоставления движений и работает в многоэтапной структуре, постепенно уточняя случайное предположение с использованием примеров сопоставленных движений. Помимо генерации разнообразных движений, мы демонстрируем универсальность нашей генеративной структуры, расширяя её на ряд сценариев, которые невозможны при использовании только Motion Matching, включая завершение движений, генерацию на основе ключевых кадров, бесконечное зацикливание и пересборку движений. Код и данные для этой статьи доступны по адресу https://wyysf-98.github.io/GenMM/.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/