Morph: Um Framework de Otimização Física sem Movimento para Geração de Movimento Humano

Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

November 22, 2024

Autores: Zhuo Li, Mingshuang Luo, Ruibing Hou, Xin Zhao, Hao Liu, Hong Chang, Zimo Liu, Chen Li

cs.AI

Resumo

A geração de movimento humano desempenha um papel vital em aplicações como humanos digitais e controle de robôs humanoides. No entanto, a maioria das abordagens existentes desconsidera as restrições físicas, resultando frequentemente na produção de movimentos fisicamente implausíveis com artefatos pronunciados, como flutuação e deslizamento dos pés. Neste artigo, propomos o Morph, um framework de otimização de física livre de movimento, composto por um Gerador de Movimento e um módulo de Refinamento de Física de Movimento, para aprimorar a plausibilidade física sem depender de dados de movimento do mundo real custosos. Especificamente, o Gerador de Movimento é responsável por fornecer dados de movimento sintéticos em larga escala, enquanto o Módulo de Refinamento de Física de Movimento utiliza esses dados sintéticos para treinar um imitador de movimento dentro de um simulador de física, impondo restrições físicas para projetar os movimentos ruidosos em um espaço fisicamente plausível. Esses movimentos fisicamente refinados, por sua vez, são usados para ajustar finamente o Gerador de Movimento, aprimorando ainda mais sua capacidade. Experimentos em tarefas de geração de texto-para-movimento e música-para-dança demonstram que nosso framework alcança qualidade de geração de movimento de ponta, ao mesmo tempo em que melhora drasticamente a plausibilidade física.

English

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose Morph, a Motion-free physics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.