SIMSPINE: Биомеханически-осознанный фреймворк для симуляции, аннотирования и бенчмаркинга трехмерных движений позвоночника

SIMSPINE: A Biomechanics-Aware Simulation Framework for 3D Spine Motion Annotation and Benchmarking

February 24, 2026

Авторы: Muhammad Saif Ullah Khan, Didier Stricker

cs.AI

Аннотация

Моделирование движений позвоночника является фундаментальной задачей для понимания биомеханики человека, однако оно остается малоизученным в компьютерном зрении из-за сложной кинематики позвоночника как многозвенной системы и отсутствия крупномасштабных 3D-аннотаций. Мы представляем бионикически осознанный фреймворк симуляции ключевых точек, который дополняет существующие наборы данных о позе человека анатомически корректными 3D-ключевыми точками позвоночника, полученными на основе мускулоскелетного моделирования. Используя этот фреймворк, мы создали первый открытый набор данных SIMSPINE, содержащий разреженные 3D-аннотации позвоночника на уровне позвонков для естественных движений всего тела в условиях многокамерной съемки в помещении без внешних ограничений. Объем набора составляет 2.14 миллиона кадров, что позволяет осуществлять основанное на данных изучение кинематики позвонков по вариациям осанки и преодолевает разрыв между мускулоскелетным моделированием и компьютерным зрением. Кроме того, мы публикуем предобученные базовые модели, включающие дообученные 2D-детекторы, монокулярные модели подъема 3D-позы и пайплайны многовидовой реконструкции, устанавливая единый бенчмарк для бионикически корректной оценки движений позвоночника. В частности, наши 2D-базовики улучшают state-of-the-art с 0.63 до 0.80 AUC в контролируемых условиях и с 0.91 до 0.93 AP для отслеживания позвоночника в естественной среде. Совместно фреймворк симуляции и набор данных SIMSPINE способствуют развитию исследований в области визуальной биомеханики, анализа движений и моделирования цифрового человека, обеспечивая воспроизводимую и анатомически обоснованную 3D-оценку позвоночника в естественных условиях.

English

Modeling spinal motion is fundamental to understanding human biomechanics, yet remains underexplored in computer vision due to the spine's complex multi-joint kinematics and the lack of large-scale 3D annotations. We present a biomechanics-aware keypoint simulation framework that augments existing human pose datasets with anatomically consistent 3D spinal keypoints derived from musculoskeletal modeling. Using this framework, we create the first open dataset, named SIMSPINE, which provides sparse vertebra-level 3D spinal annotations for natural full-body motions in indoor multi-camera capture without external restraints. With 2.14 million frames, this enables data-driven learning of vertebral kinematics from subtle posture variations and bridges the gap between musculoskeletal simulation and computer vision. In addition, we release pretrained baselines covering fine-tuned 2D detectors, monocular 3D pose lifting models, and multi-view reconstruction pipelines, establishing a unified benchmark for biomechanically valid spine motion estimation. Specifically, our 2D spine baselines improve the state-of-the-art from 0.63 to 0.80 AUC in controlled environments, and from 0.91 to 0.93 AP for in-the-wild spine tracking. Together, the simulation framework and SIMSPINE dataset advance research in vision-based biomechanics, motion analysis, and digital human modeling by enabling reproducible, anatomically grounded 3D spine estimation under natural conditions.