SIMSPINE: 3次元脊椎運動アノテーションとベンチマーキングのための生体力学対応シミュレーションフレームワーク

SIMSPINE: A Biomechanics-Aware Simulation Framework for 3D Spine Motion Annotation and Benchmarking

February 24, 2026

著者: Muhammad Saif Ullah Khan, Didier Stricker

cs.AI

要旨

脊柱運動のモデリングは人間の生体力学を理解する基盤であるが、脊柱の複雑な多関節キネマティクスと大規模な3次元注釈データの不足から、コンピュータビジョン分野では未だ十分に研究されていない。本研究では、筋骨格モデリングから導出された解剖学的に一貫性のある3次元脊柱キーポイントを既存の人体姿勢データセットに付与する、生体力学を考慮したキーポイントシミュレーションフレームワークを提案する。このフレームワークを用いて、屋内多カメラ環境で外部制約のない自然な全身動作に対し、脊椎レベルの疎な3次元脊柱注釈を提供する初のオープンデータセットSIMSPINEを構築した。214万フレームに及ぶ本データセットは、微細な姿勢変化からの脊椎キネマティクスのデータ駆動学習を可能とし、筋骨格シミュレーションとコンピュータビジョンの間の隔たりを埋める。さらに、ファインチューニングされた2次元検出器、単眼3次元姿勢リフティングモデル、多視点再構築パイプラインを含む事前学習済みベースラインを公開し、生体力学的に妥当な脊柱運動推定の統一ベンチマークを確立した。具体的には、提案する2次元脊柱ベースラインは、制御環境におけるAUCを0.63から0.80に、実環境における脊柱追跡のAPを0.91から0.93に改善した。本シミュレーションフレームワークとSIMSPINEデータセットは、自然条件下での再現性が高く解剖学的に根拠ある3次元脊柱推定を可能にすることで、視覚に基づく生体力学、動作分析、デジタルヒューマンモデリングの研究を推進する。

English

Modeling spinal motion is fundamental to understanding human biomechanics, yet remains underexplored in computer vision due to the spine's complex multi-joint kinematics and the lack of large-scale 3D annotations. We present a biomechanics-aware keypoint simulation framework that augments existing human pose datasets with anatomically consistent 3D spinal keypoints derived from musculoskeletal modeling. Using this framework, we create the first open dataset, named SIMSPINE, which provides sparse vertebra-level 3D spinal annotations for natural full-body motions in indoor multi-camera capture without external restraints. With 2.14 million frames, this enables data-driven learning of vertebral kinematics from subtle posture variations and bridges the gap between musculoskeletal simulation and computer vision. In addition, we release pretrained baselines covering fine-tuned 2D detectors, monocular 3D pose lifting models, and multi-view reconstruction pipelines, establishing a unified benchmark for biomechanically valid spine motion estimation. Specifically, our 2D spine baselines improve the state-of-the-art from 0.63 to 0.80 AUC in controlled environments, and from 0.91 to 0.93 AP for in-the-wild spine tracking. Together, the simulation framework and SIMSPINE dataset advance research in vision-based biomechanics, motion analysis, and digital human modeling by enabling reproducible, anatomically grounded 3D spine estimation under natural conditions.