Morph : Un cadre d'optimisation physique sans mouvement pour la génération de mouvements humains

Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

November 22, 2024

Auteurs: Zhuo Li, Mingshuang Luo, Ruibing Hou, Xin Zhao, Hao Liu, Hong Chang, Zimo Liu, Chen Li

cs.AI

Résumé

La génération de mouvements humains joue un rôle vital dans des applications telles que les humains numériques et le contrôle des robots humanoïdes. Cependant, la plupart des approches existantes négligent les contraintes physiques, ce qui conduit à la production fréquente de mouvements physiquement implausibles avec des artefacts prononcés tels que le flottement et le glissement des pieds. Dans cet article, nous proposons Morph, un cadre d'optimisation de la physique sans mouvement, comprenant un Générateur de Mouvement et un module de Raffinement de la Physique du Mouvement, pour améliorer la plausibilité physique sans recourir à des données de mouvement réelles coûteuses. Plus précisément, le Générateur de Mouvement est responsable de fournir des données de mouvement synthétiques à grande échelle, tandis que le Module de Raffinement de la Physique du Mouvement utilise ces données synthétiques pour entraîner un imitateur de mouvement dans un simulateur de physique, en imposant des contraintes physiques pour projeter les mouvements bruyants dans un espace physiquement plausible. Ces mouvements physiquement affinés sont ensuite utilisés pour peaufiner le Générateur de Mouvement, améliorant ainsi davantage sa capacité. Des expériences sur des tâches de génération de mouvement à partir de texte et de danse à partir de musique montrent que notre cadre atteint une qualité de génération de mouvement de pointe tout en améliorant considérablement la plausibilité physique.

English

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose Morph, a Motion-free physics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.