Curia: 放射線医学のためのマルチモーダル基盤モデル

要旨

AI支援による放射線画像解釈は、主に狭い範囲の単一タスクモデルに基づいています。このアプローチでは、膨大な種類の画像モダリティ、疾患、放射線学的所見を網羅するのは非現実的です。ファウンデーションモデル（FM）は、様々なモダリティや低データ環境での広範な汎化を可能にする可能性を秘めています。しかし、この潜在能力は放射線学の分野ではまだ十分に実現されていません。私たちはCuriaを紹介します。これは、主要な病院の数年間にわたる断面画像の全出力を基に訓練されたファウンデーションモデルで、私たちの知る限り、15万件の検査（130TB）を含む最大規模の実世界データコーパスです。新たにキュレーションされた19タスクの外部検証ベンチマークにおいて、Curiaは臓器を正確に識別し、脳出血や心筋梗塞などの状態を検出し、腫瘍のステージングにおける予後を予測します。Curiaは放射線科医や最近のファウンデーションモデルの性能を上回るか同等であり、クロスモダリティや低データ環境において臨床的に重要な創発的特性を示します。進展を加速するため、私たちはベースモデルの重みをhttps://huggingface.co/raidium/curiaで公開しています。

English

AI-assisted radiological interpretation is based on predominantly narrow, single-task models. This approach is impractical for covering the vast spectrum of imaging modalities, diseases, and radiological findings. Foundation models (FMs) hold the promise of broad generalization across modalities and in low-data settings. However, this potential has remained largely unrealized in radiology. We introduce Curia, a foundation model trained on the entire cross-sectional imaging output of a major hospital over several years, which to our knowledge is the largest such corpus of real-world data-encompassing 150,000 exams (130 TB). On a newly curated 19-task external validation benchmark, Curia accurately identifies organs, detects conditions like brain hemorrhages and myocardial infarctions, and predicts outcomes in tumor staging. Curia meets or surpasses the performance of radiologists and recent foundation models, and exhibits clinically significant emergent properties in cross-modality, and low-data regimes. To accelerate progress, we release our base model's weights at https://huggingface.co/raidium/curia.

Curia: 放射線医学のためのマルチモーダル基盤モデル

Curia: A Multi-Modal Foundation Model for Radiology

要旨

Support