SIMSPINE: Een Biomechanica-Bewust Simulatiekader voor 3D-Wervelkolombewegingsannotatie en Benchmarking
SIMSPINE: A Biomechanics-Aware Simulation Framework for 3D Spine Motion Annotation and Benchmarking
February 24, 2026
Auteurs: Muhammad Saif Ullah Khan, Didier Stricker
cs.AI
Samenvatting
Het modelleren van spinale beweging is fundamenteel voor het begrip van de menselijke biomechanica, maar blijft onderbelicht binnen de computer vision vanwege de complexe multi-gewrichtskinematica van de wervelkolom en het ontbreken van grootschalige 3D-annotaties. Wij presenteren een biomechanica-bewust kader voor keypoint-simulatie dat bestaande datasets voor humane houdingen verrijkt met anatomisch consistente 3D-spinale keypoints afgeleid van musculoskeletale modellering. Met dit kader creëren we de eerste open dataset, genaamd SIMSPINE, die schaarse 3D-annotaties op wervelniveau biedt voor natuurlijke volledige lichaamsbewegingen in een indoor multi-camera opstelling zonder externe beperkingen. Met 2,14 miljoen frames maakt dit data-gedreven leren van vertebrale kinematica mogelijk vanuit subtiele houdingsvariaties en overbrugt het de kloof tussen musculoskeletale simulatie en computer vision. Daarnaast publiceren we voorgetrainde basislijnen die verfijnde 2D-detectoren, monoculaire 3D-houdingliftmodellen en multi-view reconstructiepijplijnen omvatten, waarmee een uniforme benchmark wordt gevestigd voor biomechanisch valide schatting van wervelkolombeweging. Specifiek verbeteren onze 2D-wervelkolombasislijnen de state-of-the-art van 0,63 naar 0,80 AUC in gecontroleerde omgevingen, en van 0,91 naar 0,93 AP voor wervelkolomtracking in natuurlijke omstandigheden. Samen bevorderen het simulatiekader en de SIMSPINE-dataset het onderzoek in visie-gestuurde biomechanica, bewegingsanalyse en digitale mensmodellering door reproduceerbare, anatomisch onderbouwde 3D-schatting van de wervelkolom onder natuurlijke condities mogelijk te maken.
English
Modeling spinal motion is fundamental to understanding human biomechanics, yet remains underexplored in computer vision due to the spine's complex multi-joint kinematics and the lack of large-scale 3D annotations. We present a biomechanics-aware keypoint simulation framework that augments existing human pose datasets with anatomically consistent 3D spinal keypoints derived from musculoskeletal modeling. Using this framework, we create the first open dataset, named SIMSPINE, which provides sparse vertebra-level 3D spinal annotations for natural full-body motions in indoor multi-camera capture without external restraints. With 2.14 million frames, this enables data-driven learning of vertebral kinematics from subtle posture variations and bridges the gap between musculoskeletal simulation and computer vision. In addition, we release pretrained baselines covering fine-tuned 2D detectors, monocular 3D pose lifting models, and multi-view reconstruction pipelines, establishing a unified benchmark for biomechanically valid spine motion estimation. Specifically, our 2D spine baselines improve the state-of-the-art from 0.63 to 0.80 AUC in controlled environments, and from 0.91 to 0.93 AP for in-the-wild spine tracking. Together, the simulation framework and SIMSPINE dataset advance research in vision-based biomechanics, motion analysis, and digital human modeling by enabling reproducible, anatomically grounded 3D spine estimation under natural conditions.