VISTA-PATH：計算病理学における病理画像セグメンテーションと定量解析のための対話型基盤モデル

要旨

組織病理画像の正確なセマンティックセグメンテーションは、定量的な組織解析と下流の臨床モデリングにおいて極めて重要である。近年のセグメンテーション基盤モデルは大規模な事前学習により一般化性能を向上させてきたが、セグメンテーションを静的な視覚予測タスクとして扱うため、病理学との整合性が不十分である。本論文では、不均一な構造を解釈し、専門家のフィードバックを取り込み、臨床解釈に直接意味を持つピクセルレベルのセグメンテーションを生成する、インタラクティブでクラスを意識した病理セグメンテーション基盤モデル「VISTA-PATH」を提案する。VISTA-PATHは、視覚的コンテキスト、意味的組織記述、およびオプションとして専門家が提供する空間的プロンプトに基づいてセグメンテーションを共同で条件付けし、不均一な病理画像にわたる精密なマルチクラスセグメンテーションを実現する。このパラダイムを支援するため、9臓器、93組織クラスにわたる160万以上の画像-マスク-テキストトリプルから構成される大規模病理セグメンテーションコーパス「VISTA-PATH Data」を構築した。大規模なホールドアウトおよび外部ベンチマーク評価において、VISTA-PATHは既存のセグメンテーション基盤モデルを一貫して上回った。重要な点として、VISTA-PATHは疎なパッチレベルのバウンディングボックス注釈フィードバックをホールスライドセグメンテーションに伝播させることで、動的なヒューマンインザループによる改良を支援する。最後に、VISTA-PATHが生成する高精度でクラスを意識したセグメンテーションが計算病理学における優先モデルであることを示す。提案する腫瘍相互作用スコア（TIS）を通じて組織微小環境分析を改善し、患者の生存率との強い有意な関連性を示す。これらの結果は総合して、VISTA-PATHが病理画像セグメンテーションを静的な予測から、デジタル病理学のためのインタラクティブで臨床に根ざした表現へと昇華させる基盤モデルであることを立証する。ソースコードとデモはhttps://github.com/zhihuanglab/VISTA-PATHで公開されている。

English

Accurate semantic segmentation for histopathology image is crucial for quantitative tissue analysis and downstream clinical modeling. Recent segmentation foundation models have improved generalization through large-scale pretraining, yet remain poorly aligned with pathology because they treat segmentation as a static visual prediction task. Here we present VISTA-PATH, an interactive, class-aware pathology segmentation foundation model designed to resolve heterogeneous structures, incorporate expert feedback, and produce pixel-level segmentation that are directly meaningful for clinical interpretation. VISTA-PATH jointly conditions segmentation on visual context, semantic tissue descriptions, and optional expert-provided spatial prompts, enabling precise multi-class segmentation across heterogeneous pathology images. To support this paradigm, we curate VISTA-PATH Data, a large-scale pathology segmentation corpus comprising over 1.6 million image-mask-text triplets spanning 9 organs and 93 tissue classes. Across extensive held-out and external benchmarks, VISTA-PATH consistently outperforms existing segmentation foundation models. Importantly, VISTA-PATH supports dynamic human-in-the-loop refinement by propagating sparse, patch-level bounding-box annotation feedback into whole-slide segmentation. Finally, we show that the high-fidelity, class-aware segmentation produced by VISTA-PATH is a preferred model for computational pathology. It improve tissue microenvironment analysis through proposed Tumor Interaction Score (TIS), which exhibits strong and significant associations with patient survival. Together, these results establish VISTA-PATH as a foundation model that elevates pathology image segmentation from a static prediction to an interactive and clinically grounded representation for digital pathology. Source code and demo can be found at https://github.com/zhihuanglab/VISTA-PATH.

VISTA-PATH：計算病理学における病理画像セグメンテーションと定量解析のための対話型基盤モデル

VISTA-PATH: An interactive foundation model for pathology image segmentation and quantitative analysis in computational pathology

要旨

Support