시끄러운가, 조용한가? 다중 모달리티 임상 AI를 위한 재사용 가능한 모달리티별 실패 분석 프레임워크

초록

멀티모달 임상 모델은 일반적으로 모든 모달리티가 존재할 때의 정확도로 평가되지만, 실제 배포 환경에서는 모달리티가 제거된다. 심초음파는 심전도가 일상적으로 시행되는 환경에서 종종 이용 불가능하다. 이때 정확도 손실의 크기보다 더 중요한 두 가지 질문이 있다: 어떤 모달리티가 그 손실에 책임이 있는지, 그리고 해당 모달리티가 제거되었을 때 모델이 뚜렷하게(loudly) 실패하는지 아니면 조용히(silently) 실패하는지이다. 이러한 구분은 개별 예제 수준이자 모달리티 수준의 문제로, 사후 특징 기여도 분석(예: SHAP)과는 별개의 개념이다. 모델은 자주 교체되며, 이러한 질문에 답하는 평가는 재사용 가능해야 한다. 본 논문은 모델에 구애받지 않는 모달리티 실패 프레임워크를 제시한다. N개의 모달리티 임베딩, 임의의 마스크 인식 프로브, 그리고 레이블이 주어지면, 이 프레임워크는 (1) 예제별 실패 분류 체계, (2) 오류를 모달리티에 귀속시키는 모달리티별 상보성 행렬, (3) 결정 경계에서 멀리 떨어진 곳에서 플래그 없이 통과하는 실패와 모니터링 가능한 실패를 구분하는 모달리티별 명시적-대-암묵적 드롭아웃 프로필을 반환한다. 우리는 이를 작고 단위 테스트된 하네스로 배포하고, 설계된 정답(planted ground truth)을 통해 검증한다. 다양한 시드에 걸쳐 이 프레임워크는 설계된 모달리티 우세성과 상보적 부분집합을 복원하고, 모달리티별 명시적-대-암묵적 실패율을 보고하며, 3-모달리티 상보성 행렬로 확장된다. 설계된 구조는 구성상 이미 알려져 있으므로, 이는 임상 성능이 아닌 예제별 귀속 복원을 검증하는 것이다. 이후 우리는 이 프레임워크를 쌍으로 구성된 MIMIC-IV 코호트에서 LVEF 및 EF ≤ 40% HFrEF 판별을 위한 동결된 EchoJEPA 및 HuBERT-ECG 임베딩에 적용한다. 보류된 테스트 분할(n = 245)에서 심초음파를 제거했을 때 오류가 거의 두 배로 증가했다. 코호트 크기를 제한하는 심초음파-심전도 간의 좁은 중첩은 그 자체로 심장 파운데이션 모델에 대한 배포 관련 발견이다. 모든 작업은 https://github.com/criticaldata/PRIMED-AI에서 확인할 수 있다.

English

Multimodal clinical models are usually judged on accuracy with every modality present, but deployment removes modalities; an echocardiogram is often unavailable where an ECG is routine. Two questions then matter beyond the size of the accuracy loss: which modality was responsible, and whether the model fails loudly or silently once that modality is dropped. The distinction is per-example and modality-level, and is separate from post-hoc feature attribution (e.g. SHAP). Models are replaced often; the evaluation that answers these questions is reused. We present a model-agnostic modality-failure framework: given N modality embeddings, any mask-aware probe, and labels, it returns a per-example failure taxonomy, a per-modality complementarity matrix that attributes error to modalities, and a loud-vs-silent dropout profile separating monitorable failures from those that pass unflagged far from the decision boundary, using only deployment-observable signals. We release it as a small, unit-tested harness and validate it against planted ground truth. Across seeds it recovers that planted modality dominance and complementary subset, reports per-modality loud-vs-silent rates, and scales to a three-modality complementarity matrix; because the planted structure is known by construction, this validates recovery of per-example attribution rather than clinical performance. We then instantiate the framework on frozen EchoJEPA and HuBERT-ECG embeddings for LVEF and the EF <= 40% HFrEF gate over a paired MIMIC-IV cohort, where on the held-out test split (n = 245) dropping echo nearly doubles error. The narrow echo-to-ECG overlap that bounds cohort size is itself a deployment finding for cardiac foundation models. All of our work can be found at https://github.com/criticaldata/PRIMED-AI.