Interactieve medische beeldsegmentatie: Een benchmark dataset en basislijn

Interactive Medical Image Segmentation: A Benchmark Dataset and Baseline

November 19, 2024

Auteurs: Junlong Cheng, Bin Fu, Jin Ye, Guoan Wang, Tianbin Li, Haoyu Wang, Ruoyu Li, He Yao, Junren Chen, JingWen Li, Yanzhou Su, Min Zhu, Junjun He

cs.AI

Samenvatting

Interactieve medische beeldsegmentatie (IMIS) wordt al lange tijd beperkt door de beperkte beschikbaarheid van grootschalige, diverse en dicht becommentarieerde datasets, wat modelgeneralisatie en consistente evaluatie over verschillende modellen belemmert. In dit artikel introduceren we de IMed-361M benchmark dataset, een significante vooruitgang in algemeen IMIS-onderzoek. Allereerst verzamelen en standaardiseren we meer dan 6,4 miljoen medische beelden en hun bijbehorende grondwaarheidmaskers vanuit meerdere gegevensbronnen. Vervolgens, door gebruik te maken van de sterke objectherkenningsmogelijkheden van een visionair fundamenteel model, hebben we automatisch dichte interactieve maskers gegenereerd voor elk beeld en hebben we hun kwaliteit gewaarborgd door middel van strenge kwaliteitscontrole en granulariteitsbeheer. In tegenstelling tot eerdere datasets, die beperkt zijn door specifieke modaliteiten of schaarse annotaties, omvat IMed-361M 14 modaliteiten en 204 segmentatiedoelen, met in totaal 361 miljoen maskers - een gemiddelde van 56 maskers per beeld. Ten slotte hebben we een IMIS-basismodelnetwerk ontwikkeld op deze dataset dat hoogwaardige maskergeneratie ondersteunt via interactieve invoer, waaronder klikken, begrenzingskaders, tekstprompts en hun combinaties. We evalueren de prestaties ervan op medische beeldsegmentatietaken vanuit verschillende perspectieven, waarbij we superieure nauwkeurigheid en schaalbaarheid aantonen in vergelijking met bestaande interactieve segmentatiemodellen. Om onderzoek naar fundamentele modellen in medische computervisie te vergemakkelijken, stellen we de IMed-361M-dataset en het model beschikbaar op https://github.com/uni-medical/IMIS-Bench.

English

Interactive Medical Image Segmentation (IMIS) has long been constrained by the limited availability of large-scale, diverse, and densely annotated datasets, which hinders model generalization and consistent evaluation across different models. In this paper, we introduce the IMed-361M benchmark dataset, a significant advancement in general IMIS research. First, we collect and standardize over 6.4 million medical images and their corresponding ground truth masks from multiple data sources. Then, leveraging the strong object recognition capabilities of a vision foundational model, we automatically generated dense interactive masks for each image and ensured their quality through rigorous quality control and granularity management. Unlike previous datasets, which are limited by specific modalities or sparse annotations, IMed-361M spans 14 modalities and 204 segmentation targets, totaling 361 million masks-an average of 56 masks per image. Finally, we developed an IMIS baseline network on this dataset that supports high-quality mask generation through interactive inputs, including clicks, bounding boxes, text prompts, and their combinations. We evaluate its performance on medical image segmentation tasks from multiple perspectives, demonstrating superior accuracy and scalability compared to existing interactive segmentation models. To facilitate research on foundational models in medical computer vision, we release the IMed-361M and model at https://github.com/uni-medical/IMIS-Bench.