SegBook: Een eenvoudige basislijn en handleiding voor volumetrische medische beeldsegmentatie

Samenvatting

Computertomografie (CT) is een van de meest populaire modaliteiten voor medische beeldvorming. CT-beelden hebben verreweg bijgedragen aan de grootste publiekelijk beschikbare datasets voor volumetrische medische segmentatietaken, die volledige lichaamsanatomische structuren bestrijken. Grote hoeveelheden volledige lichaams-CT-beelden bieden de mogelijkheid om krachtige modellen vooraf te trainen, bijvoorbeeld STU-Net vooraf getraind op een begeleide manier, om talrijke anatomische structuren te segmenteren. Het blijft echter onduidelijk onder welke omstandigheden deze vooraf getrainde modellen kunnen worden overgebracht naar verschillende downstream medische segmentatietaken, met name het segmenteren van andere modaliteiten en diverse doelen. Om dit probleem aan te pakken, is een grootschalige benchmark voor een uitgebreide evaluatie cruciaal om deze omstandigheden te vinden. Daarom hebben we 87 openbare datasets verzameld die variëren in modaliteit, doel en steekproefgrootte om de overdrachtsmogelijkheid van vooraf getrainde modellen voor volledige lichaams-CT te evalueren. Vervolgens hebben we een representatief model, STU-Net met meerdere modelschalen, ingezet om overdrachtsleren over modaliteiten en doelen uit te voeren. Onze experimentele resultaten tonen aan dat (1) er mogelijk een bottleneck-effect is met betrekking tot de datasetgrootte bij fijnafstemming, met meer verbetering op zowel kleine als grote datasets dan op middelgrote. (2) Modellen die vooraf zijn getraind op volledige lichaams-CT tonen effectieve modaliteitsoverdracht, waarbij ze zich goed aanpassen aan andere modaliteiten zoals MRI. (3) Vooraf trainen op volledige lichaams-CT ondersteunt niet alleen sterke prestaties bij structuurdetectie, maar toont ook effectiviteit bij laesiedetectie, waarbij het aanpasbaarheid laat zien over verschillende doeltaken. We hopen dat deze grootschalige open evaluatie van overdrachtsleren toekomstig onderzoek naar volumetrische medische beeldsegmentatie kan sturen.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.

SegBook: Een eenvoudige basislijn en handleiding voor volumetrische medische beeldsegmentatie

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

Samenvatting

Support