SegBook: Ein einfacher Ausgangspunkt und Leitfaden für die volumetrische medizinische Bildsegmentierung

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

Autoren: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

Zusammenfassung

Die Computertomographie (CT) ist eine der beliebtesten Modalitäten für medizinische Bildgebung. CT-Bilder haben bisher am meisten zu den größten öffentlich verfügbaren Datensätzen für volumetrische medizinische Segmentierungsaufgaben beigetragen, die vollständige anatomische Strukturen abdecken. Große Mengen an Ganzkörper-CT-Bildern bieten die Möglichkeit, leistungsstarke Modelle, z. B. STU-Net, die in überwachter Weise vorab trainiert wurden, zu segmentieren. Es ist jedoch unklar, unter welchen Bedingungen diese vorab trainierten Modelle auf verschiedene nachgelagerte medizinische Segmentierungsaufgaben übertragen werden können, insbesondere bei der Segmentierung anderer Modalitäten und unterschiedlicher Ziele. Um dieses Problem zu lösen, ist ein groß angelegter Benchmark für eine umfassende Bewertung entscheidend, um diese Bedingungen zu finden. Daher haben wir 87 öffentliche Datensätze gesammelt, die sich in Modalität, Ziel und Stichprobengröße unterscheiden, um die Transferfähigkeit von vorab trainierten Ganzkörper-CT-Modellen zu bewerten. Anschließend haben wir ein repräsentatives Modell, STU-Net mit mehreren Modellskalen, für das Transferlernen über Modalitäten und Ziele eingesetzt. Unsere experimentellen Ergebnisse zeigen, dass (1) es möglicherweise einen Engpasseffekt hinsichtlich der Datensatzgröße beim Feinabstimmen gibt, wobei eine größere Verbesserung sowohl bei kleinen als auch großen Datensätzen als bei mittelgroßen zu beobachten ist. (2) Modelle, die auf Ganzkörper-CT vorab trainiert wurden, zeigen eine effektive Modalitätsübertragung und passen sich gut an andere Modalitäten wie MRT an. (3) Das Vorabtraining auf Ganzkörper-CT unterstützt nicht nur eine starke Leistung bei der Strukturerkennung, sondern zeigt auch Wirksamkeit bei der Läsionserkennung und demonstriert Anpassungsfähigkeit über verschiedene Zielaufgaben hinweg. Wir hoffen, dass diese groß angelegte offene Bewertung des Transferlernens zukünftige Forschungen in der volumetrischen medizinischen Bildsegmentierung lenken kann.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.