Interaktive medizinische Bildsegmentierung: Ein Benchmark-Datensatz und Baseline

Interactive Medical Image Segmentation: A Benchmark Dataset and Baseline

November 19, 2024

Autoren: Junlong Cheng, Bin Fu, Jin Ye, Guoan Wang, Tianbin Li, Haoyu Wang, Ruoyu Li, He Yao, Junren Chen, JingWen Li, Yanzhou Su, Min Zhu, Junjun He

cs.AI

Zusammenfassung

Die Interaktive Medizinische Bildsegmentierung (IMIS) war lange Zeit durch die begrenzte Verfügbarkeit von umfangreichen, vielfältigen und dicht annotierten Datensätzen eingeschränkt, was die Generalisierung von Modellen und die konsistente Bewertung über verschiedene Modelle hinweg behindert. In diesem Artikel stellen wir den IMed-361M Benchmark-Datensatz vor, einen bedeutenden Fortschritt in der allgemeinen IMIS-Forschung. Zunächst sammeln und standardisieren wir über 6,4 Millionen medizinische Bilder und ihre entsprechenden Ground-Truth-Masken aus mehreren Datenquellen. Anschließend nutzen wir die starken Objekterkennungsfähigkeiten eines visionären Grundlagenmodells, um automatisch dichte interaktive Masken für jedes Bild zu generieren und ihre Qualität durch strenge Qualitätskontrolle und Granularitätsmanagement sicherzustellen. Im Gegensatz zu früheren Datensätzen, die durch spezifische Modalitäten oder spärliche Annotationen begrenzt sind, umfasst IMed-361M 14 Modalitäten und 204 Segmentierungsziele, insgesamt 361 Millionen Masken - im Durchschnitt 56 Masken pro Bild. Schließlich haben wir ein IMIS-Baselinennetzwerk auf diesem Datensatz entwickelt, das die Generierung hochwertiger Masken durch interaktive Eingaben wie Klicks, Bounding Boxes, Texteingaben und deren Kombinationen unterstützt. Wir bewerten seine Leistung bei medizinischen Bildsegmentierungsaufgaben aus verschiedenen Perspektiven und zeigen eine überlegene Genauigkeit und Skalierbarkeit im Vergleich zu bestehenden interaktiven Segmentierungsmodellen. Um die Forschung an grundlegenden Modellen in der medizinischen Computer Vision zu erleichtern, veröffentlichen wir IMed-361M und das Modell unter https://github.com/uni-medical/IMIS-Bench.

English

Interactive Medical Image Segmentation (IMIS) has long been constrained by the limited availability of large-scale, diverse, and densely annotated datasets, which hinders model generalization and consistent evaluation across different models. In this paper, we introduce the IMed-361M benchmark dataset, a significant advancement in general IMIS research. First, we collect and standardize over 6.4 million medical images and their corresponding ground truth masks from multiple data sources. Then, leveraging the strong object recognition capabilities of a vision foundational model, we automatically generated dense interactive masks for each image and ensured their quality through rigorous quality control and granularity management. Unlike previous datasets, which are limited by specific modalities or sparse annotations, IMed-361M spans 14 modalities and 204 segmentation targets, totaling 361 million masks-an average of 56 masks per image. Finally, we developed an IMIS baseline network on this dataset that supports high-quality mask generation through interactive inputs, including clicks, bounding boxes, text prompts, and their combinations. We evaluate its performance on medical image segmentation tasks from multiple perspectives, demonstrating superior accuracy and scalability compared to existing interactive segmentation models. To facilitate research on foundational models in medical computer vision, we release the IMed-361M and model at https://github.com/uni-medical/IMIS-Bench.