AnyMo: Geometriebewuste Setup-agnostische Modellering van Menselijke Beweging in het Wild

Samenvatting

Naarmate draagbare en mobiele apparaten steeds meer in het dagelijks leven worden geïntegreerd, bieden ze een praktische manier om continu menselijke beweging in de echte wereld waar te nemen. Inertiële signalen zijn echter sterk afhankelijk van de sensoropstelling, waaronder de locatie op het lichaam, de montagepositie, de oriëntatie van de sensor, de apparaathardware en het bemonsteringsprotocol. Deze afhankelijkheid van de opstelling maakt het moeilijk om bewegingsrepresentaties te leren die overdraagbaar zijn tussen apparaten en datasets, en beperkt het bredere gebruik van draagbare IMU's tot herkenning in gesloten domeinen. We introduceren AnyMo, een geometriebewust raamwerk voor opstellingsonafhankelijke modellering van menselijke beweging. AnyMo maakt gebruik van natuurkundig onderbouwde IMU-simulatie over dichte plaatsingen op het lichaamsoppervlak om diverse en plausibele synthetische signalen te genereren, traint een grafenencoder met behulp van gepaarde synthetische plaatsingsaanzichten en gemaskeerde gedeeltelijke observaties, tokeniseert IMU-signalen van meerdere posities tot volledige lichaamsbewegingstokens en lijnt deze tokens af met een LLM voor bewegings-taalbegrip. We evalueren AnyMo op drie complementaire taken: zero-shot activiteitsherkenning over 14 niet eerder geziene stroomafwaartse datasets, cross-modale terugwinning en bewegingsondertiteling voor draagbare IMU's, waarbij het de gemiddelde nauwkeurigheid/F1/R@2 verbetert met 11,7%/11,6%/22,6% op HAR, de zero-shot IMU-naar-tekst en tekst-naar-IMU terugwinning MRR met respectievelijk 15,9% en 28,6% verhoogt, en de zero-shot ondertiteling BERT-F1 met 18,8% verbetert. Deze resultaten ondersteunen AnyMo als een generalistisch model voor het begrijpen van draagbare beweging in de echte wereld. Projectpagina: https://baiyuchen.com/project/AnyMo.

English

As wearable and mobile devices become increasingly embedded in daily life, they offer a practical way to continuously sense human motion in the wild. But inertial signals are highly dependent on the sensing setup, including body location, mounting position, sensor orientation, device hardware, and sampling protocol. This setup dependence makes it difficult to learn motion representations that transfer across devices and datasets, and limits the broader use of wearable IMUs beyond closed-set recognition. We introduce AnyMo, a geometry-aware framework for setup-agnostic human motion modeling. AnyMo uses physics-grounded IMU simulation over dense body-surface placements to generate diverse and plausible synthetic signals, pre-trains a graph encoder from paired synthetic placement views and masked partial observations, tokenizes multi-position IMU into full-body motion tokens, and aligns these tokens with an LLM for motion-language understanding. We evaluate AnyMo on three complementary tasks: zero-shot activity recognition across 14 unseen downstream datasets, cross-modal retrieval, and wearable IMU motion captioning, where it improves average Accuracy/F1/R@2 by 11.7\%/11.6\%/22.6\% on HAR, increases zero-shot IMU-to-text and text-to-IMU retrieval MRR by 15.9\% and 28.6\%, respectively, and improves zero-shot captioning BERT-F1 by 18.8\%. These results support AnyMo as a generalist model for wearable motion understanding in the wild. Project page: https://baiyuchen.com/project/AnyMo.