俳句を介した空間生物学と臨床組織学の統合

Linking spatial biology and clinical histology via Haiku

April 30, 2026

著者: Yan Cui, Jacob S. Leiby, Wenhui Lei, Dokyoon Kim, Yanxiang Deng, Aaron T. Mayer, Zhenqin Wu, Alexandro E. Trevino, Zhi Huang

cs.AI

要旨

分子データ、形態学的データ、臨床データの統合は、基礎およびトランスレーショナルバイオメディカル研究において不可欠であるが、これらのモダリティを統合的にモデル化する体系的フレームワークは依然として限られている。本論文では、多重蛍光免疫染色（mIF）データを用いて学習した三モーダル対照学習モデル「Haiku」を提案する。Haikuは、11種類の臓器にまたがる1,606症例の3,218組織切片から得られた2,670万の空間プロテオミクスパッチ、対応するヘマトキシリン・エオシン（H&E）染色組織像、および共有埋め込み空間に整列された臨床メタデータで構成される。Haikuは三方向のクロスモーダル検索を可能とし、下流の分類および臨床予測タスクにおいて単一モーダルベースラインを上回り、臨床メタデータのみのテキスト記述を条件とした融合検索によるゼロショットバイオマーカー推論をサポートする。様々なタスクにおいて、Haikuは他の手法を凌駕し、クロスモーダル検索（Recall@50が0.611、ベースラインはほぼゼロ）、生存予測（C-index 0.737、相対改善率+7.91%）、ゼロショットバイオマーカー推論（52種類のバイオマーカーにおける平均ピアソン相関係数0.718）を達成した。さらに、組織形態を固定したまま臨床メタデータのみを変更することで、乳癌の病期進行や肺癌の生存転帰に関連するニッチ特異的な分子変化を浮き彫りにする反事実的予測フレームワークを導入する。肺腺癌のケーススタディでは、CD8とグランザイムBの増加、PD-L1の減少、Ki67の低下によって特徴づけられるニッチ特異的な変化を反事実的分析が検出し、良好な転帰で報告されるパターンと広く一致した。これらの反事実的結果は、機構的な主張ではなく、探索的で仮説生成的なシグナルとして提示する。これらの機能は、Haikuによる三モーダルアラインメントが空間生物学の統合解析を可能にし、分子計測と臨床コンテキストを結びつけて生物学的探求を推進することを実証している。

English

Integrating molecular, morphological, and clinical data is essential for basic and translational biomedical research, yet systematic frameworks for jointly modeling these modalities remain limited. Here we present Haiku, a tri-modal contrastive learning model trained on multiplexed immunofluorescence (mIF). It comprises 26.7 million spatial proteomics patches from 3,218 tissue sections across 1,606 patients spanning 11 organ types, with matched hematoxylin and eosin (H&E) histology and clinical metadata aligned in a shared embedding space. Haiku enables three-way cross-modal retrieval, improves downstream classification and clinical prediction tasks over unimodal baselines, and supports zero-shot biomarker inference through fusion retrieval conditioned on clinical metadata-only text descriptions. Across tasks, Haiku outperforms competing approaches, achieving cross-modal retrieval (Recall@50 up to 0.611 versus near-zero baseline), survival prediction (C-index 0.737, +7.91% relative improvement), and zero-shot biomarker inference (mean Pearson correlation 0.718 across 52 biomarkers). Furthermore, we introduce a counterfactual prediction framework in which modifying only clinical metadata while fixing tissue morphology surfaces niche-specific molecular shifts associated with breast cancer stage progression and lung cancer survival outcomes. In a lung adenocarcinoma case study, the counterfactual analysis recovers niche-specific shifts characterized by increased CD8 and granzyme B, reduced PD-L1, and decreased Ki67, broadly consistent with patterns reported for favorable outcomes. We present these counterfactual results as exploratory, hypothesis-generating signals rather than mechanistic claims. These capabilities demonstrate that tri-modal alignment via Haiku enables integrative analysis of spatial biology, bridging molecular measurements with clinical context for biological exploration.