Фреймворк обучения с множественными экземплярами с использованием маскированного выделения сложных экземпляров для анализа гигапиксельных гистопатологических изображений

Аннотация

Оцифровка патологических изображений в гигапиксельные Whole Slide Images (WSI) открыла новые возможности для вычислительной патологии (Computational Pathology, CPath). Поскольку положительная ткань составляет лишь небольшую часть гигапиксельных WSI, существующие методы обучения с множественными экземплярами (Multiple Instance Learning, MIL) обычно сосредоточены на идентификации значимых экземпляров с помощью механизмов внимания. Однако это приводит к смещению в сторону легко классифицируемых экземпляров, в то время как сложные остаются без внимания. Недавние исследования показали, что сложные примеры играют ключевую роль в точном моделировании дискриминативных границ. Применяя эту идею на уровне экземпляров, мы разработали новую MIL-структуру с маскированным поиском сложных экземпляров (Masked Hard Instance Mining, MHIM-MIL), которая использует сиамскую архитектуру с ограничением согласованности для выявления сложных экземпляров. Используя вероятностную оценку экземпляров с учетом класса, MHIM-MIL применяет модель-учитель с импульсом для маскирования значимых экземпляров и неявного поиска сложных экземпляров для обучения модели-ученика. Для получения разнообразных и не избыточных сложных экземпляров мы применяем масштабное случайное маскирование, одновременно используя глобальную рециркуляционную сеть для минимизации риска потери ключевых признаков. Кроме того, модель-ученик обновляет модель-учитель с помощью экспоненциального скользящего среднего, что позволяет выявлять новые сложные экземпляры для последующих итераций обучения и стабилизирует процесс оптимизации. Результаты экспериментов по диагностике рака, классификации подтипов, анализу выживаемости и 12 тестовых наборов данных демонстрируют, что MHIM-MIL превосходит последние методы как по производительности, так и по эффективности. Код доступен по адресу: https://github.com/DearCaat/MHIM-MIL.

English

Digitizing pathological images into gigapixel Whole Slide Images (WSIs) has opened new avenues for Computational Pathology (CPath). As positive tissue comprises only a small fraction of gigapixel WSIs, existing Multiple Instance Learning (MIL) methods typically focus on identifying salient instances via attention mechanisms. However, this leads to a bias towards easy-to-classify instances while neglecting challenging ones. Recent studies have shown that hard examples are crucial for accurately modeling discriminative boundaries. Applying such an idea at the instance level, we elaborate a novel MIL framework with masked hard instance mining (MHIM-MIL), which utilizes a Siamese structure with a consistency constraint to explore the hard instances. Using a class-aware instance probability, MHIM-MIL employs a momentum teacher to mask salient instances and implicitly mine hard instances for training the student model. To obtain diverse, non-redundant hard instances, we adopt large-scale random masking while utilizing a global recycle network to mitigate the risk of losing key features. Furthermore, the student updates the teacher using an exponential moving average, which identifies new hard instances for subsequent training iterations and stabilizes optimization. Experimental results on cancer diagnosis, subtyping, survival analysis tasks, and 12 benchmarks demonstrate that MHIM-MIL outperforms the latest methods in both performance and efficiency. The code is available at: https://github.com/DearCaat/MHIM-MIL.

Multiple Instance Learning Framework with Masked Hard Instance Mining for Gigapixel Histopathology Image Analysis

Аннотация

Support