Collegamento tra condizioni semantiche e cinematiche con un tokenizzatore di movimento discreto basato su diffusione

Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer

March 19, 2026

Autori: Chenyang Gu, Mingyuan Zhang, Haozhe Xie, Zhongang Cai, Lei Yang, Ziwei Liu

cs.AI

Abstract

La generazione di movimento precedente segue principalmente due paradigmi: i modelli di diffusione continua, eccellenti nel controllo cinematico, e i generatori basati su token discreti, efficaci per il condizionamento semantico. Per combinarne i punti di forza, proponiamo un framework a tre stadi comprendente l'estrazione di caratteristiche condizionali (Percezione), la generazione di token discreti (Pianificazione) e la sintesi del movimento basata su diffusione (Controllo). Cuore di questo framework è MoTok, un tokenizzatore di movimento discreto basato su diffusione che disaccoppia l'astrazione semantica dalla ricostruzione fine-delegando il recupero del movimento a un decoder a diffusione, consentendo token compatti a singolo strato preservando la fedeltà del movimento. Per le condizioni cinematiche, vincoli approssimati guidano la generazione dei token durante la pianificazione, mentre vincoli granulari vengono applicati durante il controllo tramite ottimizzazione basata su diffusione. Questo design impedisce ai dettagli cinematici di disturbare la pianificazione semantica dei token. Su HumanML3D, il nostro metodo migliora significativamente la controllabilità e la fedeltà rispetto a MaskControl utilizzando solo un sesto dei token, riducendo l'errore di traiettoria da 0,72 cm a 0,08 cm e l'FID da 0,083 a 0,029. A differenza dei metodi precedenti che peggiorano con vincoli cinematici più stringenti, il nostro migliora la fedeltà, riducendo l'FID da 0,033 a 0,014.

English

Prior motion generation largely follows two paradigms: continuous diffusion models that excel at kinematic control, and discrete token-based generators that are effective for semantic conditioning. To combine their strengths, we propose a three-stage framework comprising condition feature extraction (Perception), discrete token generation (Planning), and diffusion-based motion synthesis (Control). Central to this framework is MoTok, a diffusion-based discrete motion tokenizer that decouples semantic abstraction from fine-grained reconstruction by delegating motion recovery to a diffusion decoder, enabling compact single-layer tokens while preserving motion fidelity. For kinematic conditions, coarse constraints guide token generation during planning, while fine-grained constraints are enforced during control through diffusion-based optimization. This design prevents kinematic details from disrupting semantic token planning. On HumanML3D, our method significantly improves controllability and fidelity over MaskControl while using only one-sixth of the tokens, reducing trajectory error from 0.72 cm to 0.08 cm and FID from 0.083 to 0.029. Unlike prior methods that degrade under stronger kinematic constraints, ours improves fidelity, reducing FID from 0.033 to 0.014.