Fijnmazige Bewegingsretrieval via Gewrichtshoek-Bewegingsbeelden en Late Interactie van Token-Patches

Fine-grained Motion Retrieval via Joint-Angle Motion Images and Token-Patch Late Interaction

March 10, 2026

Auteurs: Yao Zhang, Zhuchenyang Liu, Yanlan He, Thomas Ploetz, Yu Xiao

cs.AI

Samenvatting

Text-motion-retrieval heeft als doel een semantisch uitgelijnde latente ruimte te leren tussen beschrijvingen in natuurlijke taal en 3D-skeletsequenties van menselijke beweging, waardoor bidirectioneel zoeken tussen de twee modaliteiten mogelijk wordt. De meeste bestaande methoden gebruiken een dual-encoder-raamwerk dat beweging en tekst comprimeert tot globale embeddings, waarbij fijnmazige lokale correspondenties verloren gaan en dus de nauwkeurigheid vermindert. Bovendien bieden deze globale-embedding-methoden beperkte interpreteerbaarheid van de retrievalresultaten. Om deze beperkingen te overwinnen, stellen wij een interpreteerbare, op gewrichtshoeken gebaseerde bewegingrepresentatie voor die lokale kenmerken op gewrichtsniveau afbeeldt op een gestructureerde pseudo-afbeelding, compatibel met vooraf getrainde Vision Transformers. Voor text-to-motion-retrieval gebruiken we MaxSim, een token-gewijze late interactiemechanisme, en verbeteren dit met Masked Language Modeling-regularisatie om een robuuste, interpreteerbare tekst-bewegingsuitlijning te bevorderen. Uitgebreide experimenten op HumanML3D en KIT-ML tonen aan dat onze methode state-of-the-art text-motion-retrievalbenaderingen overtreft, terwijl het interpreteerbare fijnmazige correspondenties tussen tekst en beweging biedt. De code is beschikbaar in het supplementaire materiaal.

English

Text-motion retrieval aims to learn a semantically aligned latent space between natural language descriptions and 3D human motion skeleton sequences, enabling bidirectional search across the two modalities. Most existing methods use a dual-encoder framework that compresses motion and text into global embeddings, discarding fine-grained local correspondences, and thus reducing accuracy. Additionally, these global-embedding methods offer limited interpretability of the retrieval results. To overcome these limitations, we propose an interpretable, joint-angle-based motion representation that maps joint-level local features into a structured pseudo-image, compatible with pre-trained Vision Transformers. For text-to-motion retrieval, we employ MaxSim, a token-wise late interaction mechanism, and enhance it with Masked Language Modeling regularization to foster robust, interpretable text-motion alignment. Extensive experiments on HumanML3D and KIT-ML show that our method outperforms state-of-the-art text-motion retrieval approaches while offering interpretable fine-grained correspondences between text and motion. The code is available in the supplementary material.