Verbindung von räumlicher Biologie und klinischer Histologie durch Haiku
Linking spatial biology and clinical histology via Haiku
April 30, 2026
Autoren: Yan Cui, Jacob S. Leiby, Wenhui Lei, Dokyoon Kim, Yanxiang Deng, Aaron T. Mayer, Zhenqin Wu, Alexandro E. Trevino, Zhi Huang
cs.AI
Zusammenfassung
Die Integration molekularer, morphologischer und klinischer Daten ist für die grundlagen- und translationsorientierte biomedizinische Forschung unerlässlich, dennoch sind systematische Rahmenwerke zur gemeinsamen Modellierung dieser Modalitäten nach wie vor begrenzt. Hier stellen wir Haiku vor, ein trimodales Contrastive-Learning-Modell, das auf multiplexierter Immunfluoreszenz (mIF) trainiert wurde. Es umfasst 26,7 Millionen räumliche Proteomik-Patches aus 3.218 Gewebeschnitten von 1.606 Patienten über 11 Organtypen hinweg, mit zugehöriger Hämatoxylin-Eosin (H&E)-Histologie und klinischen Metadaten, die in einem gemeinsamen Einbettungsraum ausgerichtet sind. Haiku ermöglicht eine dreiseitige cross-modale Retrieval, verbessert nachgelagerte Klassifikations- und klinische Vorhersageaufgaben im Vergleich zu unimodalen Baseline-Modellen und unterstützt Zero-Shot-Biomarker-Inferenz durch fusionsbasiertes Retrieval, das auf rein textuellen klinischen Metadatendeskriptoren basiert. Haiku übertrifft bei allen Aufgaben konkurrierende Ansätze und erzielt cross-modales Retrieval (Recall@50 bis zu 0,611 gegenüber nahezu null Baseline), Überlebensvorhersage (C-Index 0,737, +7,91 % relative Verbesserung) und Zero-Shot-Biomarker-Inferenz (durchschnittliche Pearson-Korrelation 0,718 über 52 Biomarker). Darüber hinaus führen wir ein kontrafaktisches Vorhersageframework ein, bei dem ausschließlich klinische Metadaten modifiziert werden, während die Gewebemorphologie fixiert bleibt, um nischenspezifische molekulare Verschiebungen aufzuzeigen, die mit dem Brustkrebs-Stadienfortschritt und Lungenkrebs-Überlebensergebnissen assoziiert sind. In einer Fallstudie zu Lungenadenokarzinomen identifiziert die kontrafaktische Analyse nischenspezifische Verschiebungen, die durch erhöhte CD8- und Granzym-B-Werte, reduzierte PD-L1-Werte und verringerte Ki67-Werte charakterisiert sind – ein Muster, das weitgehend mit den für günstige Outcomes berichteten Befunden übereinstimmt. Wir präsentieren diese kontrafaktischen Ergebnisse als explorative, hypothesengenerierende Signale und nicht als mechanistische Aussagen. Diese Fähigkeiten demonstrieren, dass die trimodale Ausrichtung via Haiku eine integrative Analyse der räumlichen Biologie ermöglicht und molekulare Messungen mit dem klinischen Kontext für die biologische Exploration verbindet.
English
Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.