FrankenMotion: Geração e Composição de Movimento Humano em Nível de Partes
FrankenMotion: Part-level Human Motion Generation and Composition
January 15, 2026
Autores: Chuqiao Li, Xianghui Xie, Yong Cao, Andreas Geiger, Gerard Pons-Moll
cs.AI
Resumo
A geração de movimento humano a partir de prompts de texto tem feito progressos notáveis nos últimos anos. No entanto, os métodos existentes baseiam-se principalmente em descrições a nível de sequência ou de ação, devido à ausência de anotações de movimento granulares a nível de partes do corpo. Isto limita a sua capacidade de controlo sobre partes individuais do corpo. Neste trabalho, construímos um conjunto de dados de movimento de alta qualidade com anotações textuais a nível de partes do corpo, atómicas e temporalmente conscientes, aproveitando as capacidades de raciocínio de modelos de linguagem de grande escala (LLMs). Ao contrário de conjuntos de dados anteriores que fornecem legendas de partes sincronizadas com segmentos de tempo fixos ou que dependem apenas de etiquetas globais de sequência, o nosso conjunto de dados captura movimentos de partes assíncronos e semanticamente distintos com uma resolução temporal fina. Com base neste conjunto de dados, introduzimos uma framework de geração de movimento consciente das partes baseada em difusão, denominada FrankenMotion, na qual cada parte do corpo é guiada pelo seu próprio prompt textual com estrutura temporal. Este é, tanto quanto sabemos, o primeiro trabalho a fornecer anotações de movimento atómicas, temporalmente conscientes e a nível de partes do corpo, e a ter um modelo que permite a geração de movimento com controlo tanto espacial (parte do corpo) como temporal (ação atómica). Experiências demonstram que o FrankenMotion supera todos os modelos de referência anteriores adaptados e retreinados para a nossa configuração, e que o nosso modelo pode compor movimentos não vistos durante o treino. O nosso código e conjunto de dados estarão publicamente disponíveis após a publicação.
English
Human motion generation from text prompts has made remarkable progress in recent years. However, existing methods primarily rely on either sequence-level or action-level descriptions due to the absence of fine-grained, part-level motion annotations. This limits their controllability over individual body parts. In this work, we construct a high-quality motion dataset with atomic, temporally-aware part-level text annotations, leveraging the reasoning capabilities of large language models (LLMs). Unlike prior datasets that either provide synchronized part captions with fixed time segments or rely solely on global sequence labels, our dataset captures asynchronous and semantically distinct part movements at fine temporal resolution. Based on this dataset, we introduce a diffusion-based part-aware motion generation framework, namely FrankenMotion, where each body part is guided by its own temporally-structured textual prompt. This is, to our knowledge, the first work to provide atomic, temporally-aware part-level motion annotations and have a model that allows motion generation with both spatial (body part) and temporal (atomic action) control. Experiments demonstrate that FrankenMotion outperforms all previous baseline models adapted and retrained for our setting, and our model can compose motions unseen during training. Our code and dataset will be publicly available upon publication.