기가픽셀 병리학 이미지 분석을 위한 마스킹된 하드 인스턴스 마이닝 기반 다중 인스턴스 학습 프레임워크

초록

병리학적 이미지를 기가픽셀 Whole Slide Images(WSIs)로 디지털화하는 것은 Computational Pathology(CPath)에 새로운 가능성을 열어주었습니다. 양성 조직은 기가픽셀 WSIs의 작은 부분만을 차지하기 때문에, 기존의 Multiple Instance Learning(MIL) 방법들은 주로 어텐션 메커니즘을 통해 중요한 인스턴스를 식별하는 데 초점을 맞춥니다. 그러나 이는 분류하기 쉬운 인스턴스에 편향을 일으키면서 도전적인 인스턴스를 소홀히 하는 문제를 야기합니다. 최근 연구들은 어려운 예제들이 판별 경계를 정확하게 모델링하는 데 중요하다는 것을 보여주었습니다. 이러한 아이디어를 인스턴스 수준에서 적용하기 위해, 우리는 마스킹된 하드 인스턴스 마이닝(MHIM-MIL)을 포함한 새로운 MIL 프레임워크를 구체화했습니다. 이 프레임워크는 샴 구조와 일관성 제약을 활용하여 하드 인스턴스를 탐색합니다. 클래스 인식 인스턴스 확률을 사용하여, MHIM-MIL은 모멘텀 교사를 활용해 중요한 인스턴스를 마스킹하고, 학생 모델을 훈련시키기 위해 하드 인스턴스를 암묵적으로 마이닝합니다. 다양하고 중복되지 않은 하드 인스턴스를 얻기 위해, 우리는 대규모 랜덤 마스킹을 채택하면서 글로벌 리사이클 네트워크를 사용하여 주요 특징을 잃을 위험을 완화합니다. 또한, 학생 모델은 지수 이동 평균을 사용하여 교사를 업데이트하며, 이는 후속 훈련 반복을 위한 새로운 하드 인스턴스를 식별하고 최적화를 안정화합니다. 암 진단, 서브타이핑, 생존 분석 작업 및 12개의 벤치마크에서의 실험 결과는 MHIM-MIL이 성능과 효율성 모두에서 최신 방법들을 능가함을 보여줍니다. 코드는 https://github.com/DearCaat/MHIM-MIL에서 확인할 수 있습니다.

English

Digitizing pathological images into gigapixel Whole Slide Images (WSIs) has opened new avenues for Computational Pathology (CPath). As positive tissue comprises only a small fraction of gigapixel WSIs, existing Multiple Instance Learning (MIL) methods typically focus on identifying salient instances via attention mechanisms. However, this leads to a bias towards easy-to-classify instances while neglecting challenging ones. Recent studies have shown that hard examples are crucial for accurately modeling discriminative boundaries. Applying such an idea at the instance level, we elaborate a novel MIL framework with masked hard instance mining (MHIM-MIL), which utilizes a Siamese structure with a consistency constraint to explore the hard instances. Using a class-aware instance probability, MHIM-MIL employs a momentum teacher to mask salient instances and implicitly mine hard instances for training the student model. To obtain diverse, non-redundant hard instances, we adopt large-scale random masking while utilizing a global recycle network to mitigate the risk of losing key features. Furthermore, the student updates the teacher using an exponential moving average, which identifies new hard instances for subsequent training iterations and stabilizes optimization. Experimental results on cancer diagnosis, subtyping, survival analysis tasks, and 12 benchmarks demonstrate that MHIM-MIL outperforms the latest methods in both performance and efficiency. The code is available at: https://github.com/DearCaat/MHIM-MIL.

기가픽셀 병리학 이미지 분석을 위한 마스킹된 하드 인스턴스 마이닝 기반 다중 인스턴스 학습 프레임워크

Multiple Instance Learning Framework with Masked Hard Instance Mining for Gigapixel Histopathology Image Analysis

초록

Support