De koppeling van ruimtelijke biologie en klinische histologie via Haiku
Linking spatial biology and clinical histology via Haiku
April 30, 2026
Auteurs: Yan Cui, Jacob S. Leiby, Wenhui Lei, Dokyoon Kim, Yanxiang Deng, Aaron T. Mayer, Zhenqin Wu, Alexandro E. Trevino, Zhi Huang
cs.AI
Samenvatting
De integratie van moleculaire, morfologische en klinische gegevens is essentieel voor fundamenteel en translationeel biomedisch onderzoek, maar systematische kaders voor het gezamenlijk modelleren van deze modaliteiten blijven beperkt. Hier presenteren we Haiku, een trimodaal contrastief leermodel getraind op gemultiplexte immunofluorescentie (mIF). Het omvat 26,7 miljoen spatiale proteomische patches van 3.218 weefselsecties van 1.606 patiënten verspreid over 11 orgeltypen, met gematchte histologie (hematoxyline en eosine, H&E) en klinische metadata, uitgelijnd in een gedeelde embeddedruimte. Haiku maakt drieweg cross-modale retrieval mogelijk, verbetert downstream classificatie- en klinische voorspeltaken ten opzichte van unimodale basislijnen, en ondersteunt zero-shot biomarkerinferentie via fuseretrieval geconditioneerd op uitsluitend tekstbeschrijvingen van klinische metadata. Bij alle taken presteert Haiku beter dan concurrerende benaderingen, met cross-modale retrieval (Recall@50 tot 0,611 versus een bijna-nul basislijn), overlevingsvoorspelling (C-index 0,737, +7,91% relatieve verbetering) en zero-shot biomarkerinferentie (gemiddelde Pearson-correlatie 0,718 over 52 biomarkers). Verder introduceren we een contrafeitelijk voorspellingskader waarin alleen klinische metadata worden aangepast terwijl de weefselmorfologie constant wordt gehouden, om nichespecifieke moleculaire verschuivingen bloot te leggen die geassocieerd zijn met progressie van borstkankerstadia en overlevingsuitkomsten bij longkanker. In een longadenocarcinoom casestudy herstelt de contrafeitelijke analyse nichespecifieke verschuivingen die worden gekenmerkt door verhoogde CD8 en granzyme B, verminderde PD-L1 en verlaagde Ki67, in brede overeenstemming met patronen gerapporteerd voor gunstige uitkomsten. We presenteren deze contrafeitelijke resultaten als verkennende, hypothesegenererende signalen in plaats van mechanistische claims. Deze mogelijkheden tonen aan dat trimodale alignering via Haiku integratieve analyse van spatiale biologie mogelijk maakt, waarbij moleculaire metingen worden verbonden met de klinische context voor biologisch onderzoek.
English
Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.