SegBook: Простая базовая линия и сборник рецептов для сегментации объемных медицинских изображений.

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

Авторы: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

Аннотация

Вычислительная томография (CT) является одним из самых популярных методов для медицинского изображения. До сих пор изображения CT внесли наибольший вклад в крупные общедоступные наборы данных для объемных медицинских задач сегментации, охватывая анатомические структуры всего тела. Большие объемы изображений CT всего тела предоставляют возможность предварительного обучения мощных моделей, например, модели STU-Net, предварительно обученной в надзорной манере, для сегментации многочисленных анатомических структур. Однако остается неясным, в каких условиях эти предварительно обученные модели могут быть перенесены на различные последующие медицинские задачи сегментации, особенно на сегментацию других модальностей и разнообразных целей. Для решения этой проблемы критически важно иметь крупномасштабный бенчмарк для всесторонней оценки этих условий. Таким образом, мы собрали 87 общедоступных наборов данных с различной модальностью, целью и размером выборки для оценки возможности передачи предварительно обученных моделей CT всего тела. Затем мы использовали представительную модель, STU-Net с несколькими масштабами моделей, для проведения обучения передачи между модальностями и целями. Наши экспериментальные результаты показывают, что (1) может наблюдаться эффект узкого места в отношении размера набора данных при настройке, с большим улучшением как на небольших, так и на крупных наборах данных, чем на среднемасштабных. (2) Модели, предварительно обученные на CT всего тела, демонстрируют эффективную передачу модальности, хорошо адаптируясь к другим модальностям, таким как МРТ. (3) Предварительное обучение на CT всего тела не только поддерживает сильное выполнение обнаружения структур, но также показывает эффективность в обнаружении очагов, демонстрируя адаптируемость к различным целевым задачам. Мы надеемся, что эта крупномасштабная открытая оценка обучения передачи может направить будущие исследования в области объемной сегментации медицинских изображений.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.