Curia: 방사선학을 위한 다중 모달 기반 모델

초록

AI 지원 방사선학적 해석은 주로 단일 작업에 특화된 좁은 범위의 모델에 기반하고 있습니다. 이러한 접근 방식은 다양한 영상 방식, 질병, 그리고 방사선학적 소견을 포괄하기에는 비현실적입니다. 파운데이션 모델(FMs)은 다양한 영상 방식과 데이터가 부족한 환경에서도 광범위한 일반화를 가능케 할 잠재력을 가지고 있습니다. 그러나 이러한 잠재력은 방사선학 분야에서 아직 크게 실현되지 못했습니다. 우리는 주요 병원에서 수년간 축적된 전체 단면 영상 데이터를 기반으로 훈련된 파운데이션 모델인 Curia를 소개합니다. 이는 우리가 아는 한 실제 세계 데이터 중 가장 큰 규모로, 150,000건의 검사(130TB)를 포함합니다. 새롭게 구성된 19개 작업의 외부 검증 벤치마크에서 Curia는 장기를 정확히 식별하고, 뇌출혈 및 심근경색과 같은 상태를 감지하며, 종양 병기 예측에서 결과를 예측합니다. Curia는 방사선 전문의와 최근의 파운데이션 모델의 성능을 능가하거나 동등한 수준을 보이며, 교차 모달리티 및 데이터가 부족한 환경에서 임상적으로 중요한 새로운 특성을 나타냅니다. 연구의 가속화를 위해 우리는 기본 모델의 가중치를 https://huggingface.co/raidium/curia에서 공개합니다.

English

AI-assisted radiological interpretation is based on predominantly narrow, single-task models. This approach is impractical for covering the vast spectrum of imaging modalities, diseases, and radiological findings. Foundation models (FMs) hold the promise of broad generalization across modalities and in low-data settings. However, this potential has remained largely unrealized in radiology. We introduce Curia, a foundation model trained on the entire cross-sectional imaging output of a major hospital over several years, which to our knowledge is the largest such corpus of real-world data-encompassing 150,000 exams (130 TB). On a newly curated 19-task external validation benchmark, Curia accurately identifies organs, detects conditions like brain hemorrhages and myocardial infarctions, and predicts outcomes in tumor staging. Curia meets or surpasses the performance of radiologists and recent foundation models, and exhibits clinically significant emergent properties in cross-modality, and low-data regimes. To accelerate progress, we release our base model's weights at https://huggingface.co/raidium/curia.

Curia: 방사선학을 위한 다중 모달 기반 모델

Curia: A Multi-Modal Foundation Model for Radiology

초록

Support