하이쿠를 통해 공간 생물학과 임상 조직학 연결하기

초록

분자 데이터, 형태학 데이터, 임상 데이터를 통합하는 것은 기초 및 전환 의생명 연구에 필수적이지만, 이러한 다중 모달리티를 함께 모델링하기 위한 체계적인 프레임워크는 여전히 제한적입니다. 본 연구에서는 다중면역형광(mIF) 데이터로 훈련된 3중 모달 대조 학습 모델인 Haiku를 제안합니다. Haiku는 11개 장기 유형에 걸친 1,606명의 환자로부터 얻은 3,218개의 조직 절편에서 추출한 2,670만 개의 공간 단백체학 패치와, 이를 매칭한 헤마톡실린-에오신(H&E) 조직학 데이터 및 임상 메타데이터를 공유 임베딩 공간에 정렬하여 구성됩니다. Haiku는 3방향 교차 모달 검색을 가능하게 하며, 단일 모달 기준 모델보다 향상된 다운스트림 분류 및 임상 예측 과업 성능을 보여주고, 오직 임상 메타데이터 텍스트 설명에 기반하여 조건화된 융합 검색을 통해 제로-샷 바이오마커 추론을 지원합니다. 다양한 과업에서 Haiku는 경쟁 접근법들을 능가하며, 교차 모달 검색(Recall@50 기준 0.611, 기준선은 거의 0), 생존 예측(C-지수 0.737, 상대적 개선도 +7.91%), 제로-샷 바이오마커 추론(52개 바이오마커 평균 피어슨 상관관계 0.718)의 성과를 달성했습니다. 더 나아가, 조직 형태학은 고정한 채 임상 메타데이터만을 수정함으로써 유방암 단계 진행 및 폐암 생존 결과와 관련된 특이적 미세환경(niche-specific) 분자 변화를 발견하는 반사실적 예측 프레임워크를 도입했습니다. 폐선암 사례 연구에서, 이 반사실적 분석은 CD8과 그랜자임 B의 증가, PD-L1의 감소, Ki67의 감소로 특징지어지는 특이적 미세환경 변화를 복원했으며, 이는 양호한 예후와 관련된 것으로 보고된 패턴과 전반적으로 일치했습니다. 우리는 이러한 반사실적 결과를 기계론적 주장보다는 탐색적 가설 생성 신호로 제시합니다. 이러한 능력들은 Haiku를 통한 3중 모달 정합이 공간 생물학의 통합 분석을 가능하게 하여 분자 측정값과 임상 맥락을 연결하는 생물학적 탐색을 지원함을 보여줍니다.

English

Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.

하이쿠를 통해 공간 생물학과 임상 조직학 연결하기

Linking spatial biology and clinical histology via Haiku

초록

Support