Ligando a biologia espacial e a histologia clínica através do Haiku

Resumo

A integração de dados moleculares, morfológicos e clínicos é essencial para a pesquisa biomédica básica e translacional, mas ainda são escassos os modelos sistemáticos para modelar conjuntamente essas modalidades. Apresentamos aqui o Haiku, um modelo de aprendizado contrastivo trimodal treinado em imunohuorescência multiplex (mIF). O conjunto compreende 26,7 milhões de *patches* de proteômica espacial de 3.218 seções histológicas de 1.606 pacientes, abrangendo 11 tipos de órgãos, com histologia H&E (hematoxilina e eosina) e metadados clínicos correspondentes alinhados em um espaço de incorporação compartilhado. O Haiku permite recuperação cruzada trimodal, melhora tarefas de classificação e predição clínica em relação a modelos unimodais de referência e suporta inferência de biomarcadores *zero-shot* por meio de recuperação por fusão condicionada a descrições textais baseadas apenas em metadados clínicos. Em diversas tarefas, o Haiku supera abordagens concorrentes, alcançando recuperação cruzada (Recall@50 de até 0,611 versus linha de base próxima de zero), predição de sobrevida (índice C de 0,737, +7,91% de melhoria relativa) e inferência *zero-shot* de biomarcadores (correlação de Pearson média de 0,718 em 52 biomarcadores). Adicionalmente, introduzimos um modelo de predição contrafactual no qual a modificação apenas dos metadados clínicos, mantendo fixa a morfologia tecidual, revela desvios moleculares específicos de nicho associados à progressão do estágio do câncer de mama e a desfechos de sobrevida no câncer de pulmão. Num estudo de caso com adenocarcinoma pulmonar, a análise contrafactual recupera desvios específicos de nicho caracterizados por aumento de CD8 e granzima B, redução de PD-L1 e diminuição de Ki67, padrão amplamente consistente com relatos de desfechos favoráveis. Apresentamos esses resultados contrafactuais como sinais exploratórios e geradores de hipóteses, e não como afirmações mecanicistas. Essas capacidades demonstram que o alinhamento trimodal via Haiku possibilita análises integrativas da biologia espacial, conectando medições moleculares com o contexto clínico para exploração biológica.

English

Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.