Vinculando la biología espacial y la histología clínica mediante Haiku

Linking spatial biology and clinical histology via Haiku

April 30, 2026

Autores: Yan Cui, Jacob S. Leiby, Wenhui Lei, Dokyoon Kim, Yanxiang Deng, Aaron T. Mayer, Zhenqin Wu, Alexandro E. Trevino, Zhi Huang

cs.AI

Resumen

La integración de datos moleculares, morfológicos y clínicos es esencial para la investigación biomédica básica y traslacional, sin embargo, los marcos sistemáticos para modelar conjuntamente estas modalidades siguen siendo limitados. Aquí presentamos Haiku, un modelo de aprendizaje contrastivo trimodal entrenado con inmunofluorescencia multiplex (mIF). Este comprende 26.7 millones de parches de proteómica espacial procedentes de 3,218 secciones tisulares de 1,606 pacientes que abarcan 11 tipos de órganos, con histología de hematoxilina y eosina (H&E) emparejada y metadatos clínicos alineados en un espacio de incrustación compartido. Haiku permite la recuperación cruzada trimodal, mejora las tareas de clasificación y predicción clínica posteriores en comparación con los modelos unimodales de referencia, y admite la inferencia de biomarcadores de cero disparos mediante recuperación por fusión condicionada a descripciones textuales basadas únicamente en metadatos clínicos. En todas las tareas, Haiku supera a los enfoques competidores, logrando una recuperación cruzada (Recall@50 hasta 0.611 versus una línea de base cercana a cero), predicción de supervivencia (índice C 0.737, +7.91% de mejora relativa) e inferencia de biomarcadores de cero disparos (correlación media de Pearson 0.718 en 52 biomarcadores). Además, introducimos un marco de predicción contrafactual en el que, al modificar solo los metadatos clínicos mientras se mantiene fija la morfología tisular, se revelan cambios moleculares específicos del nicho asociados con la progresión del estadio del cáncer de mama y los resultados de supervivencia en cáncer de pulmón. En un estudio de caso de adenocarcinoma de pulmón, el análisis contrafactual recupera cambios específicos del nicho caracterizados por un aumento de CD8 y granzima B, una reducción de PD-L1 y una disminución de Ki67, en consonancia general con los patrones reportados para resultados favorables. Presentamos estos resultados contrafactuales como señales exploratorias generadoras de hipótesis, más que como afirmaciones mecanicistas. Estas capacidades demuestran que la alineación trimodal mediante Haiku permite un análisis integrador de la biología espacial, tendiendo un puente entre las mediciones moleculares y el contexto clínico para la exploración biológica.

English

Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.