Überbrückung von semantischen und kinematischen Bedingungen mit einem diffusionsbasierten diskreten Bewegungstokenisierer

Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer

March 19, 2026

Autoren: Chenyang Gu, Mingyuan Zhang, Haozhe Xie, Zhongang Cai, Lei Yang, Ziwei Liu

cs.AI

Zusammenfassung

Die bisherige Bewegungsgenerierung folgt weitgehend zwei Paradigmen: kontinuierliche Diffusionsmodelle, die sich durch kinematische Steuerung auszeichnen, und diskrete tokenbasierte Generatoren, die effektiv für semantische Konditionierung sind. Um ihre Stärken zu kombinieren, schlagen wir ein dreistufiges Framework vor, das die Extraktion von Konditionsmerkmalen (Wahrnehmung), die Erzeugung diskreter Tokens (Planung) und die diffusionsbasierte Bewegungssynthese (Steuerung) umfasst. Kernstück dieses Frameworks ist MoTok, ein diffusionsbasierter diskreter Bewegungstokenisierer, der semantische Abstraktion von feingranularer Rekonstruktion entkoppelt, indem er die Bewegungsrückgewinnung an einen Diffusionsdecoder delegiert. Dies ermöglicht kompakte Single-Layer-Tokens bei gleichzeitiger Bewahrung der Bewegungsqualität. Bei kinematischen Bedingungen leiten grobe Randbedingungen die Tokengenerierung während der Planungsphase, während feingranulare Randbedingungen während der Steuerphase durch diffusionsbasierte Optimierung durchgesetzt werden. Dieser Entwurf verhindert, dass kinematische Details die semantische Tokenplanung stören. Auf HumanML3D verbessert unsere Methode die Steuerbarkeit und Qualität im Vergleich zu MaskControl erheblich, wobei nur ein Sechstel der Tokens verwendet wird. Der Trajektorienfehler verringert sich von 0,72 cm auf 0,08 cm und der FID von 0,083 auf 0,029. Im Gegensatz zu früheren Methoden, die unter stärkeren kinematischen Zwängen an Qualität einbüßen, verbessert unsere Methode die Qualität und reduziert den FID von 0,033 auf 0,014.

English

Prior motion generation largely follows two paradigms: continuous diffusion models that excel at kinematic control, and discrete token-based generators that are effective for semantic conditioning. To combine their strengths, we propose a three-stage framework comprising condition feature extraction (Perception), discrete token generation (Planning), and diffusion-based motion synthesis (Control). Central to this framework is MoTok, a diffusion-based discrete motion tokenizer that decouples semantic abstraction from fine-grained reconstruction by delegating motion recovery to a diffusion decoder, enabling compact single-layer tokens while preserving motion fidelity. For kinematic conditions, coarse constraints guide token generation during planning, while fine-grained constraints are enforced during control through diffusion-based optimization. This design prevents kinematic details from disrupting semantic token planning. On HumanML3D, our method significantly improves controllability and fidelity over MaskControl while using only one-sixth of the tokens, reducing trajectory error from 0.72 cm to 0.08 cm and FID from 0.083 to 0.029. Unlike prior methods that degrade under stronger kinematic constraints, ours improves fidelity, reducing FID from 0.033 to 0.014.