Hibou：病理学のための基盤的ビジョントランスフォーマーファミリー
Hibou: A Family of Foundational Vision Transformers for Pathology
June 7, 2024
著者: Dmitry Nechaev, Alexey Pchelnikov, Ekaterina Ivanova
cs.AI
要旨
病理学は、疾患組織の顕微鏡的検査を通じて、特にがんを含む様々な医療状態の診断において重要な役割を果たしています。従来の方法は労力を要し、人的ミスが生じやすいという課題がありました。デジタル病理学は、ガラススライドを高解像度のデジタル画像に変換し、コンピュータアルゴリズムによる分析を可能にすることで、自動化された画像解析と大規模データ処理を通じて診断の精度、一貫性、効率を向上させ、この分野に革命をもたらしています。基礎的なトランスフォーマーの事前学習は、大量の未注釈データから学習を可能にすることで、堅牢で汎用性の高いモデルの開発において極めて重要です。
本論文では、病理学向けの基礎的ビジョントランスフォーマーファミリーであるHibouを紹介します。DINOv2フレームワークを活用し、多様な組織タイプと染色技術を代表する100万枚以上のホールスライド画像（WSI）からなる独自データセットを用いて、Hibou-BとHibou-Lの2つのモデルバリアントを事前学習しました。事前学習されたモデルは、パッチレベルおよびスライドレベルのベンチマークにおいて、既存の最先端手法を凌駕する優れた性能を示しています。特に、Hibou-Lは複数のベンチマークデータセットにおいて最高の平均精度を達成しました。この分野のさらなる研究と応用を支援するため、Hibou-Bモデルをオープンソースとして公開しており、https://github.com/HistAI/hibou からアクセス可能です。
English
Pathology, the microscopic examination of diseased tissue, is critical for
diagnosing various medical conditions, particularly cancers. Traditional
methods are labor-intensive and prone to human error. Digital pathology, which
converts glass slides into high-resolution digital images for analysis by
computer algorithms, revolutionizes the field by enhancing diagnostic accuracy,
consistency, and efficiency through automated image analysis and large-scale
data processing. Foundational transformer pretraining is crucial for developing
robust, generalizable models as it enables learning from vast amounts of
unannotated data.
This paper introduces the Hibou family of foundational vision transformers
for pathology, leveraging the DINOv2 framework to pretrain two model variants,
Hibou-B and Hibou-L, on a proprietary dataset of over 1 million whole slide
images (WSIs) representing diverse tissue types and staining techniques. Our
pretrained models demonstrate superior performance on both patch-level and
slide-level benchmarks, surpassing existing state-of-the-art methods. Notably,
Hibou-L achieves the highest average accuracy across multiple benchmark
datasets. To support further research and application in the field, we have
open-sourced the Hibou-B model, which can be accessed at
https://github.com/HistAI/hibou