Morph: Ein bewegungsfreies Physikoptimierungs-Framework für die Generierung menschlicher Bewegung

Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

November 22, 2024

Autoren: Zhuo Li, Mingshuang Luo, Ruibing Hou, Xin Zhao, Hao Liu, Hong Chang, Zimo Liu, Chen Li

cs.AI

Zusammenfassung

Die Generierung menschlicher Bewegungen spielt eine entscheidende Rolle in Anwendungen wie digitalen Menschen und der Steuerung humanoider Roboter. Die meisten bestehenden Ansätze ignorieren jedoch physikalische Einschränkungen, was häufig zu unrealistischen Bewegungen mit deutlichen Artefakten wie Schweben und Fußrutschen führt. In diesem Artikel schlagen wir Morph vor, ein Bewegungsfreies Physik-Optimierungsframework, bestehend aus einem Bewegungsgenerator und einem Bewegungsphysik-Verfeinerungsmodul, um die physikalische Plausibilität zu verbessern, ohne teure Bewegungsdaten aus der realen Welt zu benötigen. Der Bewegungsgenerator ist speziell für die Bereitstellung von synthetischen Bewegungsdaten verantwortlich, während das Bewegungsphysik-Verfeinerungsmodul diese synthetischen Daten nutzt, um einen Bewegungsimitator innerhalb eines Physiksimulators zu trainieren. Dieser erzwingt physikalische Einschränkungen, um die rauschhaften Bewegungen in einen physikalisch plausiblen Raum zu projizieren. Diese physikalisch verfeinerten Bewegungen werden wiederum genutzt, um den Bewegungsgenerator feinzutunen und somit seine Leistungsfähigkeit weiter zu verbessern. Experimente sowohl in Text-zu-Bewegung als auch in Musik-zu-Tanz Generierungsaufgaben zeigen, dass unser Framework eine Bewegungsgenerierungsqualität auf dem neuesten Stand der Technik erreicht, während es die physikalische Plausibilität drastisch verbessert.

English

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose Morph, a Motion-free physics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.