Bridger les conditions sémantiques et cinématiques avec un tokeniseur de mouvement discret basé sur la diffusion

Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer

March 19, 2026

Auteurs: Chenyang Gu, Mingyuan Zhang, Haozhe Xie, Zhongang Cai, Lei Yang, Ziwei Liu

cs.AI

Résumé

La génération de mouvements antérieure suit principalement deux paradigmes : les modèles de diffusion continus qui excellent dans le contrôle cinématique, et les générateurs discrets basés sur des tokens qui sont efficaces pour le conditionnement sémantique. Pour combiner leurs forces, nous proposons un cadre en trois étapes comprenant l'extraction de caractéristiques conditionnelles (Perception), la génération de tokens discrets (Planification) et la synthèse de mouvements par diffusion (Contrôle). Au cœur de ce cadre se trouve MoTok, un tokeniseur de mouvements discrets basé sur la diffusion qui découple l'abstraction sémantique de la reconstruction fine en déléguant la récupération du mouvement à un décodeur de diffusion, permettant des tokens compacts à une seule couche tout en préservant la fidélité du mouvement. Pour les conditions cinématiques, des contraintes grossières guident la génération de tokens pendant la planification, tandis que les contraintes fines sont appliquées pendant le contrôle via une optimisation basée sur la diffusion. Cette conception empêche les détails cinématiques de perturber la planification sémantique des tokens. Sur HumanML3D, notre méthode améliore significativement la contrôlabilité et la fidélité par rapport à MaskControl tout en utilisant seulement un sixième des tokens, réduisant l'erreur de trajectoire de 0,72 cm à 0,08 cm et le FID de 0,083 à 0,029. Contrairement aux méthodes antérieures qui se dégradent sous des contraintes cinématiques plus fortes, la nôtre améliore la fidélité, réduisant le FID de 0,033 à 0,014.

English

Prior motion generation largely follows two paradigms: continuous diffusion models that excel at kinematic control, and discrete token-based generators that are effective for semantic conditioning. To combine their strengths, we propose a three-stage framework comprising condition feature extraction (Perception), discrete token generation (Planning), and diffusion-based motion synthesis (Control). Central to this framework is MoTok, a diffusion-based discrete motion tokenizer that decouples semantic abstraction from fine-grained reconstruction by delegating motion recovery to a diffusion decoder, enabling compact single-layer tokens while preserving motion fidelity. For kinematic conditions, coarse constraints guide token generation during planning, while fine-grained constraints are enforced during control through diffusion-based optimization. This design prevents kinematic details from disrupting semantic token planning. On HumanML3D, our method significantly improves controllability and fidelity over MaskControl while using only one-sixth of the tokens, reducing trajectory error from 0.72 cm to 0.08 cm and FID from 0.083 to 0.029. Unlike prior methods that degrade under stronger kinematic constraints, ours improves fidelity, reducing FID from 0.033 to 0.014.