Связывание пространственной биологии и клинической гистологии через Haiku

Linking spatial biology and clinical histology via Haiku

April 30, 2026

Авторы: Yan Cui, Jacob S. Leiby, Wenhui Lei, Dokyoon Kim, Yanxiang Deng, Aaron T. Mayer, Zhenqin Wu, Alexandro E. Trevino, Zhi Huang

cs.AI

Аннотация

Интеграция молекулярных, морфологических и клинических данных имеет ключевое значение для фундаментальных и трансляционных биомедицинских исследований, однако систематические подходы к совместному моделированию этих модальностей остаются ограниченными. Мы представляем Haiku — тримодальную модель контрастного обучения, обученную на мультиплексной иммунофлуоресценции (mIF). Модель включает 26,7 миллиона патчей пространственной протеомики из 3 218 срезов тканей от 1 606 пациентов, охватывающих 11 типов органов, с сопоставленными гистологическими данными окрашивания гематоксилином и эозином (H&E) и клиническими метаданными, выровненными в общем пространстве эмбеддингов. Haiku обеспечивает трехсторонний кросс-модальный поиск, улучшает последующие задачи классификации и клинического прогнозирования по сравнению с унимодальными базовыми уровнями и поддерживает вывод биомаркеров в режиме zero-shot посредством поиска слияния, обусловленного текстовыми описаниями, основанными только на клинических метаданных. Во всех задачах Haiku превосходит конкурирующие подходы, демонстрируя высокие результаты в кросс-модальном поиске (Recall@50 до 0,611 против почти нулевого базового уровня), прогнозировании выживаемости (C-index 0,737, относительное улучшение +7,91%) и zero-shot выводе биомаркеров (средняя корреляция Пирсона 0,718 по 52 биомаркерам). Кроме того, мы представляем контрафактуальный прогностический фреймворк, в котором модификация только клинических метаданных при фиксированной морфологии ткани выявляет нише-специфические молекулярные сдвиги, ассоциированные с прогрессией стадии рака молочной железы и исходами выживаемости при раке легких. В исследовании случая аденокарциномы легкого контрафактуальный анализ выявляет нише-специфические сдвиги, характеризующиеся увеличением CD8 и гранзима B, снижением PD-L1 и уменьшением Ki67, что в целом согласуется с паттернами, описанными для благоприятных исходов. Мы рассматриваем эти контрафактуальные результаты как разведочные, гипотезогенерирующие сигналы, а не как механистические утверждения. Данные возможности демонстрируют, что тримодальное выравнивание с помощью Haiku позволяет проводить интегративный анализ пространственной биологии, связывая молекулярные измерения с клиническим контекстом для биологических исследований.

English

Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.