Segmentación Interactiva de Imágenes Médicas: Un Conjunto de Datos de Referencia y Baseline

Interactive Medical Image Segmentation: A Benchmark Dataset and Baseline

November 19, 2024

Autores: Junlong Cheng, Bin Fu, Jin Ye, Guoan Wang, Tianbin Li, Haoyu Wang, Ruoyu Li, He Yao, Junren Chen, JingWen Li, Yanzhou Su, Min Zhu, Junjun He

cs.AI

Resumen

La Segmentación Interactiva de Imágenes Médicas (IMIS, por sus siglas en inglés) ha estado durante mucho tiempo limitada por la disponibilidad limitada de conjuntos de datos grandes, diversos y densamente anotados, lo que dificulta la generalización del modelo y la evaluación consistente entre diferentes modelos. En este artículo, presentamos el conjunto de datos de referencia IMed-361M, un avance significativo en la investigación general de IMIS. En primer lugar, recopilamos y estandarizamos más de 6.4 millones de imágenes médicas y sus máscaras de verdad terreno correspondientes de múltiples fuentes de datos. Luego, aprovechando las sólidas capacidades de reconocimiento de objetos de un modelo visionario fundamental, generamos automáticamente máscaras interactivas densas para cada imagen y garantizamos su calidad a través de un riguroso control de calidad y gestión de granularidad. A diferencia de conjuntos de datos anteriores, que están limitados por modalidades específicas o anotaciones dispersas, IMed-361M abarca 14 modalidades y 204 objetivos de segmentación, con un total de 361 millones de máscaras, un promedio de 56 máscaras por imagen. Finalmente, desarrollamos una red de referencia de IMIS en este conjunto de datos que admite la generación de máscaras de alta calidad a través de entradas interactivas, que incluyen clics, cuadros delimitadores, indicaciones de texto y sus combinaciones. Evaluamos su rendimiento en tareas de segmentación de imágenes médicas desde múltiples perspectivas, demostrando una precisión y escalabilidad superiores en comparación con los modelos de segmentación interactiva existentes. Para facilitar la investigación sobre modelos fundamentales en visión por computadora médica, publicamos IMed-361M y el modelo en https://github.com/uni-medical/IMIS-Bench.

English

Interactive Medical Image Segmentation (IMIS) has long been constrained by the limited availability of large-scale, diverse, and densely annotated datasets, which hinders model generalization and consistent evaluation across different models. In this paper, we introduce the IMed-361M benchmark dataset, a significant advancement in general IMIS research. First, we collect and standardize over 6.4 million medical images and their corresponding ground truth masks from multiple data sources. Then, leveraging the strong object recognition capabilities of a vision foundational model, we automatically generated dense interactive masks for each image and ensured their quality through rigorous quality control and granularity management. Unlike previous datasets, which are limited by specific modalities or sparse annotations, IMed-361M spans 14 modalities and 204 segmentation targets, totaling 361 million masks-an average of 56 masks per image. Finally, we developed an IMIS baseline network on this dataset that supports high-quality mask generation through interactive inputs, including clicks, bounding boxes, text prompts, and their combinations. We evaluate its performance on medical image segmentation tasks from multiple perspectives, demonstrating superior accuracy and scalability compared to existing interactive segmentation models. To facilitate research on foundational models in medical computer vision, we release the IMed-361M and model at https://github.com/uni-medical/IMIS-Bench.