AnyMo: Геометрически-осведомленное и независимое от конфигурации моделирование движений человека в дикой природе

Аннотация

По мере того как носимые и мобильные устройства всё глубже внедряются в повседневную жизнь, они предоставляют практический способ непрерывного распознавания движений человека в естественных условиях. Однако инерциальные сигналы сильно зависят от конфигурации сенсоров, включая расположение на теле, место крепления, ориентацию датчика, аппаратное обеспечение устройства и протокол дискретизации. Эта зависимость от конфигурации затрудняет изучение представлений движений, переносимых между устройствами и наборами данных, и ограничивает более широкое применение носимых IMU за пределами распознавания в замкнутом множестве. Мы представляем AnyMo — геометрически-осведомлённый фреймворк для моделирования движений человека, не зависящий от конфигурации датчиков. AnyMo использует физически обоснованную симуляцию IMU на плотной сетке размещений на поверхности тела для генерации разнообразных и правдоподобных синтетических сигналов, предварительно обучает графовый энкодер на парных синтетических видах размещения и маскированных частичных наблюдениях, токенизирует многопозиционные IMU в токены движений всего тела и выравнивает эти токены с большой языковой моделью для понимания движений и языка. Мы оцениваем AnyMo на трёх взаимодополняющих задачах: распознавании активности в нулевом контексте на 14 невидимых наборах данных, кросс-модальном поиске и описании движений по данным носимых IMU, где он улучшает среднюю точность/F1/R@2 на 11.7%/11.6%/22.6% для HAR, увеличивает MRR для поиска IMU-текст и текст-IMU в нулевом контексте на 15.9% и 28.6% соответственно, а также улучшает BERT-F1 для описания в нулевом контексте на 18.8%. Эти результаты подтверждают AnyMo как универсальную модель для понимания носимых движений в естественных условиях. Страница проекта: https://baiyuchen.com/project/AnyMo.

English

As wearable and mobile devices become increasingly embedded in daily life, they offer a practical way to continuously sense human motion in the wild. But inertial signals are highly dependent on the sensing setup, including body location, mounting position, sensor orientation, device hardware, and sampling protocol. This setup dependence makes it difficult to learn motion representations that transfer across devices and datasets, and limits the broader use of wearable IMUs beyond closed-set recognition. We introduce AnyMo, a geometry-aware framework for setup-agnostic human motion modeling. AnyMo uses physics-grounded IMU simulation over dense body-surface placements to generate diverse and plausible synthetic signals, pre-trains a graph encoder from paired synthetic placement views and masked partial observations, tokenizes multi-position IMU into full-body motion tokens, and aligns these tokens with an LLM for motion-language understanding. We evaluate AnyMo on three complementary tasks: zero-shot activity recognition across 14 unseen downstream datasets, cross-modal retrieval, and wearable IMU motion captioning, where it improves average Accuracy/F1/R@2 by 11.7\%/11.6\%/22.6\% on HAR, increases zero-shot IMU-to-text and text-to-IMU retrieval MRR by 15.9\% and 28.6\%, respectively, and improves zero-shot captioning BERT-F1 by 18.8\%. These results support AnyMo as a generalist model for wearable motion understanding in the wild. Project page: https://baiyuchen.com/project/AnyMo.