NOAH：患者の全経過を学習する。表現と予測のための縦断的マルチモーダル時間考慮型モデル

要旨

医療のデジタル化は、生涯にわたる大規模で縦断的かつマルチモーダルな患者記録を生み出してきたが、これらのデータを完全に活用して患者状態の軌跡を表現し予測することは、依然として重要な課題である。現在のAIモデルは、実世界のマルチモーダル患者データが持つ複雑で不規則な時間的ダイナミクスと内在する確率性を捉えることにしばしば苦慮している。縦断的患者記録をモデル化する既存のAIアプローチは、主に識別的であり、少数のモダリティに限定され、閉じたカテゴリカル語彙に制約され、時間を単調な帰納バイアスとして扱うか、将来の患者状態の予測に限界がある。我々は、時間認識型でタスク非依存の生成トランスフォーマーモデルであるNOAHを導入する。これは完全なマルチモーダル患者ジャーニーを表現し予測する。NOAHは、患者状態の連続的進展と臨床経過の確率性を捉えるために、新規の双方向時間統合と変分潜在空間を備える。MIMICデータセットファミリー全体にわたる299,000人の患者の431,000件の病院受診からの5億5,900万件を超える臨床イベントから構築され、NOAHは医療画像、時系列および数値信号、カテゴリカルイベント、ならびに構造化および非構造化臨床記録をネイティブに処理する。NOAHはこの分野で初の真に全体論的な生成モデルであり、任意選択の時間制御を伴う自己回帰的予測、ゼロショット分類、反事実的介入シミュレーションを可能にする。それは、臨床アウトカム、15のICD章、29の併存疾患のプロービングにおいて、またイベント発生までの時間予測において強い性能を示す、極めて情報量が多く予測的な患者状態表現を生成する。多様なモダリティと複雑な時間的ダイナミクスをシームレスに扱い、NOAHは個別化臨床ケアおよびデジタル医療における知的予測システムのための、汎用性が高く、タスク非依存で、スケーラブルな基盤を提供する。

English

The digitization of healthcare has generated vast, longitudinal, and multimodal patient records over a lifetime, yet fully exploiting these data to represent and predict patient state trajectories remains a critical challenge. Current AI models often struggle to capture the complex, irregular temporal dynamics and inherent stochasticity of real-world multimodal patient data. Existing AI approaches for modeling longitudinal patient records are predominantly discriminative, limited to a few modalities, constrained by closed categorical vocabularies, treating time as a monotonic inductive bias, or they are limited in forecasting future patient states. We introduce NOAH, a time-aware, task-agnostic, generative transformer model representing and forecasting the full multimodal patient journey. NOAH features a novel bidirectional time integration and a variational latent space to capture the continuous evolution of patient states and the stochasticity of clinical trajectories. Built from over 559 million clinical events from 431,000 hospital visits of 299,000 patients across the MIMIC dataset family, NOAH natively processes medical images, time-series and numeric signals, categorical events, as well as structured and unstructured clinical records. NOAH is the first truly holistic generative model in its field, enabling autoregressive forecasting with optional time control, zero-shot classification, and counterfactual intervention simulation. It generates highly informative and predictive patient state representations that demonstrate strong performance in probing for clinical outcomes, 15 ICD chapters, and 29 comorbidities, as well as in time-to-event prediction. Seamlessly handling diverse modalities and complex temporal dynamics, NOAH provides a versatile, task-agnostic, scalable foundation for intelligent predictive systems in personalized clinical care and digital medicine.