Morph: Een bewegingsvrij fysisch optimalisatiekader voor het genereren van menselijke beweging

Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

November 22, 2024

Auteurs: Zhuo Li, Mingshuang Luo, Ruibing Hou, Xin Zhao, Hao Liu, Hong Chang, Zimo Liu, Chen Li

cs.AI

Samenvatting

Menselijke bewegingsgeneratie speelt een cruciale rol in toepassingen zoals digitale mensen en de controle van humanoïde robots. Echter, de meeste bestaande benaderingen negeren fysische beperkingen, wat leidt tot de frequente productie van fysiek onmogelijke bewegingen met opvallende artefacten zoals zweven en voetverschuiving. In dit artikel stellen we Morph voor, een Bewegingsvrije fysica-optimalisatiekader, bestaande uit een Bewegingsgenerator en een Bewegingsfysica-verfijningsmodule, om de fysieke plausibiliteit te verbeteren zonder te vertrouwen op kostbare bewegingsgegevens uit de echte wereld. Specifiek is de Bewegingsgenerator verantwoordelijk voor het leveren van grootschalige synthetische bewegingsgegevens, terwijl de Bewegingsfysica-verfijningsmodule deze synthetische gegevens gebruikt om een bewegingsimitator binnen een fysieke simulator te trainen, waarbij fysische beperkingen worden opgelegd om de ruisachtige bewegingen in een fysiek plausibele ruimte te projecteren. Deze fysiek verfijnde bewegingen worden op hun beurt gebruikt om de Bewegingsgenerator verder af te stemmen, waardoor de capaciteit ervan wordt verbeterd. Experimenten op zowel tekst-naar-beweging als muziek-naar-dans generatietaken tonen aan dat ons kader een motion generation kwaliteit van topniveau bereikt terwijl de fysieke plausibiliteit drastisch verbetert.

English

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose Morph, a Motion-free physics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.