SIMSPINE: Uma Estrutura de Simulação Consciente da Biomecânica para Anotação e Comparação de Movimento 3D da Coluna Vertebral
SIMSPINE: A Biomechanics-Aware Simulation Framework for 3D Spine Motion Annotation and Benchmarking
February 24, 2026
Autores: Muhammad Saif Ullah Khan, Didier Stricker
cs.AI
Resumo
A modelagem do movimento espinhal é fundamental para a compreensão da biomecânica humana, mas continua pouco explorada na visão computacional devido à complexa cinemática multiarticular da coluna vertebral e à falta de anotações 3D em larga escala. Apresentamos uma estrutura de simulação de pontos-chave consciente da biomecânica que amplia conjuntos de dados de postura humana existentes com pontos-chave espinhais 3D anatomicamente consistentes, derivados da modelagem musculoesquelética. Utilizando esta estrutura, criamos o primeiro conjunto de dados aberto, denominado SIMSPINE, que fornece anotações espinhais 3D esparsas a nível vertebral para movimentos naturais de corpo inteiro em captura multi-câmara em ambientes internos sem restrições externas. Com 2,14 milhões de quadros, isto possibilita a aprendizagem orientada a dados da cinemática vertebral a partir de variações subtis de postura e preenche a lacuna entre a simulação musculoesquelética e a visão computacional. Adicionalmente, disponibilizamos linhas de base pré-treinadas que abrangem detectores 2D afinados, modelos de elevação de postura 3D monoculares e pipelines de reconstrução multi-vista, estabelecendo um benchmark unificado para a estimativa de movimento espinhal biomecanicamente válida. Especificamente, as nossas linhas de base 2D para a coluna melhoram o estado da arte de 0,63 para 0,80 AUC em ambientes controlados, e de 0,91 para 0,93 AP para o rastreamento espinhal em condições naturais. Em conjunto, a estrutura de simulação e o conjunto de dados SIMSPINE avançam a investigação em biomecânica baseada em visão, análise de movimento e modelagem digital humana, ao permitir uma estimativa espinhal 3D reproduzível e anatomicamente fundamentada sob condições naturais.
English
Modeling spinal motion is fundamental to understanding human biomechanics, yet remains underexplored in computer vision due to the spine's complex multi-joint kinematics and the lack of large-scale 3D annotations. We present a biomechanics-aware keypoint simulation framework that augments existing human pose datasets with anatomically consistent 3D spinal keypoints derived from musculoskeletal modeling. Using this framework, we create the first open dataset, named SIMSPINE, which provides sparse vertebra-level 3D spinal annotations for natural full-body motions in indoor multi-camera capture without external restraints. With 2.14 million frames, this enables data-driven learning of vertebral kinematics from subtle posture variations and bridges the gap between musculoskeletal simulation and computer vision. In addition, we release pretrained baselines covering fine-tuned 2D detectors, monocular 3D pose lifting models, and multi-view reconstruction pipelines, establishing a unified benchmark for biomechanically valid spine motion estimation. Specifically, our 2D spine baselines improve the state-of-the-art from 0.63 to 0.80 AUC in controlled environments, and from 0.91 to 0.93 AP for in-the-wild spine tracking. Together, the simulation framework and SIMSPINE dataset advance research in vision-based biomechanics, motion analysis, and digital human modeling by enabling reproducible, anatomically grounded 3D spine estimation under natural conditions.