「顕在的か、潜在的か？マルチモーダル臨床AIにおけるモダリティ別障害分析のための再利用可能なフレームワーク」

要旨

マルチモーダル臨床モデルは通常、全モダリティが揃った状態での精度によって評価される。しかし実運用ではモダリティが欠落する。心電図（ECG）が日常的に取得される環境では、心エコー図が利用できないことは珍しくない。このとき重要となるのは、精度低下の大きさだけではない。どのモダリティがその精度低下の原因なのか、そしてそのモダリティが欠落した際にモデルが明確に失敗するのか、それとも静かに失敗するのか、という二つの問いが浮上する。この区別は事例単位かつモダリティレベルのものであり、事後的な特徴帰属（例：SHAP）とは異なる。モデルは頻繁に置き換えられるため、これらの問いに答える評価手続きは再利用可能であるべきだ。本稿では、モデル非依存のモダリティ障害フレームワークを提案する。このフレームワークは、N個のモダリティ埋め込みと任意のマスク対応プローブ、ラベルを入力とし、事例ごとの失敗分類、誤りをモダリティに帰属させるモダリティ別相補性行列、そして実運用で観測可能なシグナルのみを用いて、監視可能な失敗と決定境界から遠く離れて未検出のまま通過する失敗を分離する、顕在的／潜在的（loud-vs-silent）ドロップアウトプロファイルを出力する。我々はこれを小規模でユニットテスト済みのハーネスとして公開し、人工的に植え付けた正解データに対して検証した。シードを変えた複数の実験において、植え付けたモダリティ優位性と相補的サブセットを復元し、モダリティ別の顕在的／潜在的失敗率を報告し、3モダリティの相補性行列へ拡張できることを確認した。植え付けた構造は構成上既知であるため、これは臨床性能ではなく、事例ごとの帰属復元の検証である。続いて、ペア化されたMIMIC-IVコホートにおいて、LVEFおよびEF≤40%のHFrEFゲートに対する凍結EchoJEPAおよびHuBERT-ECG埋め込みに本フレームワークを適用した。保持されたテスト分割（n=245）では、エコーを削除すると誤差がほぼ2倍になった。コホートサイズを制約するエコーとECGの重なりの狭さは、それ自体が心臓基盤モデルにとっての実運用上の発見である。我々の成果はすべて https://github.com/criticaldata/PRIMED-AI で入手可能である。

English

Multimodal clinical models are usually judged on accuracy with every modality present, but deployment removes modalities; an echocardiogram is often unavailable where an ECG is routine. Two questions then matter beyond the size of the accuracy loss: which modality was responsible, and whether the model fails loudly or silently once that modality is dropped. The distinction is per-example and modality-level, and is separate from post-hoc feature attribution (e.g. SHAP). Models are replaced often; the evaluation that answers these questions is reused. We present a model-agnostic modality-failure framework: given N modality embeddings, any mask-aware probe, and labels, it returns a per-example failure taxonomy, a per-modality complementarity matrix that attributes error to modalities, and a loud-vs-silent dropout profile separating monitorable failures from those that pass unflagged far from the decision boundary, using only deployment-observable signals. We release it as a small, unit-tested harness and validate it against planted ground truth. Across seeds it recovers that planted modality dominance and complementary subset, reports per-modality loud-vs-silent rates, and scales to a three-modality complementarity matrix; because the planted structure is known by construction, this validates recovery of per-example attribution rather than clinical performance. We then instantiate the framework on frozen EchoJEPA and HuBERT-ECG embeddings for LVEF and the EF <= 40% HFrEF gate over a paired MIMIC-IV cohort, where on the held-out test split (n = 245) dropping echo nearly doubles error. The narrow echo-to-ECG overlap that bounds cohort size is itself a deployment finding for cardiac foundation models. All of our work can be found at https://github.com/criticaldata/PRIMED-AI.