Morph: Un Marco de Optimización Física sin Movimiento para la Generación de Movimiento Humano

Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

November 22, 2024

Autores: Zhuo Li, Mingshuang Luo, Ruibing Hou, Xin Zhao, Hao Liu, Hong Chang, Zimo Liu, Chen Li

cs.AI

Resumen

La generación de movimiento humano juega un papel vital en aplicaciones como humanos digitales y el control de robots humanoides. Sin embargo, la mayoría de los enfoques existentes ignoran las restricciones físicas, lo que conduce a la frecuente producción de movimientos físicamente implausibles con artefactos pronunciados como flotación y deslizamiento de pies. En este documento, proponemos Morph, un marco de optimización de física libre de movimiento, que consta de un Generador de Movimiento y un módulo de Refinamiento de Física de Movimiento, para mejorar la plausibilidad física sin depender de costosos datos de movimiento del mundo real. Específicamente, el Generador de Movimiento es responsable de proporcionar datos de movimiento sintéticos a gran escala, mientras que el Módulo de Refinamiento de Física de Movimiento utiliza estos datos sintéticos para entrenar un imitador de movimiento dentro de un simulador de física, imponiendo restricciones físicas para proyectar los movimientos ruidosos en un espacio físicamente plausible. Estos movimientos físicamente refinados, a su vez, se utilizan para ajustar finamente el Generador de Movimiento, mejorando aún más su capacidad. Experimentos en tareas de generación de texto a movimiento y de música a baile demuestran que nuestro marco logra una calidad de generación de movimiento de vanguardia al tiempo que mejora drásticamente la plausibilidad física.

English

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose Morph, a Motion-free physics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.