SegBook: Una línea base simple y manual de instrucciones para la segmentación de imágenes médicas volumétricas

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

Autores: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

Resumen

La Tomografía Computarizada (TC) es una de las modalidades más populares para la obtención de imágenes médicas. Hasta ahora, las imágenes de TC han contribuido a los conjuntos de datos públicos más grandes para tareas de segmentación médica volumétrica, abarcando estructuras anatómicas de cuerpo completo. Grandes cantidades de imágenes de TC de cuerpo completo brindan la oportunidad de pre-entrenar modelos potentes, por ejemplo, STU-Net pre-entrenado de manera supervisada, para segmentar numerosas estructuras anatómicas. Sin embargo, sigue siendo incierto en qué condiciones estos modelos pre-entrenados pueden transferirse a diversas tareas de segmentación médica posteriores, en particular la segmentación de otras modalidades y objetivos diversos. Para abordar este problema, es crucial contar con un benchmark a gran escala para una evaluación exhaustiva que permita identificar estas condiciones. Por lo tanto, recopilamos 87 conjuntos de datos públicos que varían en modalidad, objetivo y tamaño de muestra para evaluar la capacidad de transferencia de modelos pre-entrenados de TC de cuerpo completo. Luego, empleamos un modelo representativo, STU-Net con múltiples escalas de modelo, para llevar a cabo el aprendizaje por transferencia entre modalidades y objetivos. Nuestros resultados experimentales muestran que (1) puede haber un efecto de cuello de botella en cuanto al tamaño del conjunto de datos en el ajuste fino, con una mayor mejora tanto en conjuntos de datos pequeños como grandes que en los de tamaño mediano. (2) Los modelos pre-entrenados en TC de cuerpo completo demuestran una transferencia efectiva de modalidad, adaptándose bien a otras modalidades como la resonancia magnética (RM). (3) El pre-entrenamiento en TC de cuerpo completo no solo respalda un rendimiento sólido en la detección de estructuras, sino que también muestra eficacia en la detección de lesiones, demostrando adaptabilidad en tareas de objetivo. Esperamos que esta evaluación a gran escala del aprendizaje por transferencia pueda orientar la investigación futura en la segmentación de imágenes médicas volumétricas.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.