Morph: Фреймворк оптимизации физики без движения для генерации движения человека

Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

November 22, 2024

Авторы: Zhuo Li, Mingshuang Luo, Ruibing Hou, Xin Zhao, Hao Liu, Hong Chang, Zimo Liu, Chen Li

cs.AI

Аннотация

Генерация движения человека играет важную роль в приложениях, таких как цифровые люди и управление гуманоидными роботами. Однако большинство существующих подходов не учитывают физические ограничения, что приводит к частому созданию физически невозможных движений с выраженными артефактами, такими как плавание и скольжение стоп. В данной статье мы предлагаем Morph, фреймворк оптимизации физики без движения, включающий генератор движения и модуль улучшения физики движения, для улучшения физической правдоподобности без использования дорогих реальных данных о движении. Конкретно, генератор движения отвечает за предоставление синтетических данных о движении большого масштаба, в то время как модуль улучшения физики движения использует эти синтетические данные для обучения имитатора движения в физическом симуляторе, накладывая физические ограничения для проецирования шумных движений в физически правдоподобное пространство. Эти физически улучшенные движения, в свою очередь, используются для доводки генератора движения, дополнительно улучшая его возможности. Эксперименты как в задачах генерации текста в движение, так и в задачах генерации музыки в танец демонстрируют, что наш фреймворк достигает высочайшего качества генерации движения, существенно улучшая физическую правдоподобность.

English

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose Morph, a Motion-free physics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.