SIMSPINE: 3D 척추 운동 주석화 및 벤치마킹을 위한 생체역학 인지 시뮬레이션 프레임워크
SIMSPINE: A Biomechanics-Aware Simulation Framework for 3D Spine Motion Annotation and Benchmarking
February 24, 2026
저자: Muhammad Saif Ullah Khan, Didier Stricker
cs.AI
초록
척추 운동 모델링은 인간 생체역학 이해의 기초이지만, 척추의 복잡한 다관절 운동학과 대규모 3D 주석 데이터 부족으로 컴퓨터 비전 분야에서 충분히 연구되지 못했습니다. 본 연구는 근골격계 모델링에서 도출된 해부학적으로 일관된 3D 척추 키포인트를 기존 인간 자세 데이터셋에 추가하는 생체역학 인식 키포인트 시뮬레이션 프레임워크를 제안합니다. 이 프레임워크를 활용하여 실내 다중 카메라 환경에서 외부 고정 없이 수행된 자연스러운 전신 동작에 대한 희소한 척추 수준 3D 주석을 제공하는 최초의 공개 데이터셋인 SIMSPINE을 구축했습니다. 214만 프레임으로 구성된 이 데이터셋은 미세한 자세 변화에서 척추 운동학을 데이터 기반으로 학습할 수 있게 하며, 근골격계 시뮬레이션과 컴퓨터 비전 간의 간극을 메꿔줍니다. 또한 미세 조정된 2D 검출기, 단안 3D 자세 추정 모델, 다중 뷰 재구성 파이프라인을 포함한 사전 학습된 기준 모델을 공개하여 생체역학적으로 타당한 척추 운동 추정을 위한 통합 벤치마크를 마련했습니다. 구체적으로, 우리의 2D 척추 기준 모델은 제어된 환경에서 기존 최고 수준의 AUC를 0.63에서 0.80으로 향상시켰으며, 실제 환경 척추 추적에서는 AP를 0.91에서 0.93으로 개선했습니다. 본 시뮬레이션 프레임워크와 SIMSPINE 데이터셋은 자연스러운 조건에서 재현 가능하며 해부학적으로 근거 있는 3D 척추 추정을 가능하게 함으로써 비전 기반 생체역학, 운동 분석, 디지털 휴먼 모델링 연구의 발전을 촉진합니다.
English
Modeling spinal motion is fundamental to understanding human biomechanics, yet remains underexplored in computer vision due to the spine's complex multi-joint kinematics and the lack of large-scale 3D annotations. We present a biomechanics-aware keypoint simulation framework that augments existing human pose datasets with anatomically consistent 3D spinal keypoints derived from musculoskeletal modeling. Using this framework, we create the first open dataset, named SIMSPINE, which provides sparse vertebra-level 3D spinal annotations for natural full-body motions in indoor multi-camera capture without external restraints. With 2.14 million frames, this enables data-driven learning of vertebral kinematics from subtle posture variations and bridges the gap between musculoskeletal simulation and computer vision. In addition, we release pretrained baselines covering fine-tuned 2D detectors, monocular 3D pose lifting models, and multi-view reconstruction pipelines, establishing a unified benchmark for biomechanically valid spine motion estimation. Specifically, our 2D spine baselines improve the state-of-the-art from 0.63 to 0.80 AUC in controlled environments, and from 0.91 to 0.93 AP for in-the-wild spine tracking. Together, the simulation framework and SIMSPINE dataset advance research in vision-based biomechanics, motion analysis, and digital human modeling by enabling reproducible, anatomically grounded 3D spine estimation under natural conditions.