SIMSPINE: Un framework di simulazione biomeccanicamente consapevole per l'annotazione e il benchmarking del movimento 3D della colonna vertebrale

SIMSPINE: A Biomechanics-Aware Simulation Framework for 3D Spine Motion Annotation and Benchmarking

February 24, 2026

Autori: Muhammad Saif Ullah Khan, Didier Stricker

cs.AI

Abstract

La modellazione del movimento spinale è fondamentale per comprendere la biomeccanica umana, ma rimane poco esplorata nell'ambito della computer vision a causa della complessa cinematica multi-articolare della colonna vertebrale e della mancanza di annotazioni 3D su larga scala. Presentiamo un framework di simulazione di keypoint consapevole della biomeccanica che arricchisce i dataset esistenti di pose umane con keypoint spinali 3D anatomicamente consistenti, derivati dalla modellazione muscolo-scheletrica. Utilizzando questo framework, creiamo il primo dataset aperto, denominato SIMSPINE, che fornisce annotazioni 3D sparse a livello vertebrale per movimenti naturali del corpo completo acquisiti in ambienti indoor con sistema multi-camera e senza vincoli esterni. Con 2,14 milioni di frame, questo dataset abilita l'apprendimento basato sui dati della cinematica vertebrale a partire da sottili variazioni posturali e colma il divario tra simulazione muscolo-scheletrica e computer vision. Inoltre, rilasciamo baseline pre-addestrate che coprono detector 2D raffinati, modelli di sollevamento della posa 3D monoculare e pipeline di ricostruzione multi-vista, stabilendo un benchmark unificato per la stima del movimento spinale biomeccanicamente valida. Nello specifico, le nostre baseline 2D per la colonna vertebrale migliorano lo stato dell'arte portando l'AUC da 0,63 a 0,80 in ambienti controllati e l'AP da 0,91 a 0,93 per il tracciamento spinale in condizioni naturali. Insieme, il framework di simulazione e il dataset SIMSPINE promuovono la ricerca nella biomeccanica basata sulla visione, nell'analisi del movimento e nella modellazione digitale dell'uomo, consentendo una stima 3D della colonna vertebrale riproducibile e anatomicamente fondata in condizioni naturali.

English

Modeling spinal motion is fundamental to understanding human biomechanics, yet remains underexplored in computer vision due to the spine's complex multi-joint kinematics and the lack of large-scale 3D annotations. We present a biomechanics-aware keypoint simulation framework that augments existing human pose datasets with anatomically consistent 3D spinal keypoints derived from musculoskeletal modeling. Using this framework, we create the first open dataset, named SIMSPINE, which provides sparse vertebra-level 3D spinal annotations for natural full-body motions in indoor multi-camera capture without external restraints. With 2.14 million frames, this enables data-driven learning of vertebral kinematics from subtle posture variations and bridges the gap between musculoskeletal simulation and computer vision. In addition, we release pretrained baselines covering fine-tuned 2D detectors, monocular 3D pose lifting models, and multi-view reconstruction pipelines, establishing a unified benchmark for biomechanically valid spine motion estimation. Specifically, our 2D spine baselines improve the state-of-the-art from 0.63 to 0.80 AUC in controlled environments, and from 0.91 to 0.93 AP for in-the-wild spine tracking. Together, the simulation framework and SIMSPINE dataset advance research in vision-based biomechanics, motion analysis, and digital human modeling by enabling reproducible, anatomically grounded 3D spine estimation under natural conditions.