AnyMo : Modélisation du mouvement humain en conditions réelles, consciente de la géométrie et indépendante de la configuration

Résumé

Alors que les dispositifs portables et mobiles s’intègrent de plus en plus dans la vie quotidienne, ils offrent un moyen pratique de détecter en continu le mouvement humain en conditions réelles. Mais les signaux inertiels dépendent fortement de la configuration de détection, notamment l’emplacement sur le corps, la position de montage, l’orientation du capteur, le matériel de l’appareil et le protocole d’échantillonnage. Cette dépendance à la configuration rend difficile l’apprentissage de représentations de mouvement transférables entre dispositifs et jeux de données, et limite l’utilisation plus large des IMU portables au-delà de la reconnaissance en ensemble fermé. Nous présentons AnyMo, un cadre géométrique pour la modélisation du mouvement humain agnostique à la configuration. AnyMo utilise une simulation d’IMU fondée sur la physique sur des placements denses à la surface du corps pour générer des signaux synthétiques diversifiés et plausibles, pré-entraîne un encodeur de graphes à partir de vues de placement synthétiques appariées et d’observations partielles masquées, tokenise les IMU multi-positions en jetons de mouvement corporel complet, et aligne ces jetons avec un LLM pour la compréhension mouvement-langage. Nous évaluons AnyMo sur trois tâches complémentaires : la reconnaissance d’activité zero-shot sur 14 jeux de données avals non vus, la récupération cross-modale, et le légendage de mouvement par IMU portable, où il améliore la Précision/F1/R@2 moyenne de 11,7 %/11,6 %/22,6 % en HAR, augmente le MRR de récupération IMU-texte et texte-IMU en zero-shot de 15,9 % et 28,6 % respectivement, et améliore le BERT-F1 du légendage zero-shot de 18,8 %. Ces résultats soutiennent AnyMo en tant que modèle généraliste pour la compréhension du mouvement portable en conditions réelles. Page du projet : https://baiyuchen.com/project/AnyMo.

English

As wearable and mobile devices become increasingly embedded in daily life, they offer a practical way to continuously sense human motion in the wild. But inertial signals are highly dependent on the sensing setup, including body location, mounting position, sensor orientation, device hardware, and sampling protocol. This setup dependence makes it difficult to learn motion representations that transfer across devices and datasets, and limits the broader use of wearable IMUs beyond closed-set recognition. We introduce AnyMo, a geometry-aware framework for setup-agnostic human motion modeling. AnyMo uses physics-grounded IMU simulation over dense body-surface placements to generate diverse and plausible synthetic signals, pre-trains a graph encoder from paired synthetic placement views and masked partial observations, tokenizes multi-position IMU into full-body motion tokens, and aligns these tokens with an LLM for motion-language understanding. We evaluate AnyMo on three complementary tasks: zero-shot activity recognition across 14 unseen downstream datasets, cross-modal retrieval, and wearable IMU motion captioning, where it improves average Accuracy/F1/R@2 by 11.7\%/11.6\%/22.6\% on HAR, increases zero-shot IMU-to-text and text-to-IMU retrieval MRR by 15.9\% and 28.6\%, respectively, and improves zero-shot captioning BERT-F1 by 18.8\%. These results support AnyMo as a generalist model for wearable motion understanding in the wild. Project page: https://baiyuchen.com/project/AnyMo.