SegBook : Une ligne de base simple et un guide pratique pour la segmentation d'images médicales volumétriques

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

Auteurs: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

Résumé

La Tomographie par Ordinateur (CT) est l'une des modalités les plus populaires pour l'imagerie médicale. De loin, les images CT ont contribué aux ensembles de données volumétriques les plus importants disponibles publiquement pour les tâches de segmentation médicale, couvrant les structures anatomiques du corps entier. De grandes quantités d'images CT du corps entier offrent la possibilité de pré-entraîner des modèles puissants, par exemple, STU-Net pré-entraîné de manière supervisée, pour segmenter de nombreuses structures anatomiques. Cependant, il reste incertain dans quelles conditions ces modèles pré-entraînés peuvent être transférés à diverses tâches de segmentation médicale ultérieures, en particulier pour segmenter d'autres modalités et diverses cibles. Pour résoudre ce problème, un benchmark à grande échelle pour une évaluation complète est crucial pour trouver ces conditions. Ainsi, nous avons collecté 87 ensembles de données publics variant en modalité, cible et taille d'échantillon pour évaluer la capacité de transfert des modèles pré-entraînés CT du corps entier. Nous avons ensuite utilisé un modèle représentatif, STU-Net avec plusieurs échelles de modèles, pour réaliser un apprentissage par transfert entre modalités et cibles. Nos résultats expérimentaux montrent que (1) il peut y avoir un effet de goulot d'étranglement concernant la taille de l'ensemble de données lors du fine-tuning, avec une amélioration plus importante à la fois sur les ensembles de données de petite et grande taille que sur ceux de taille moyenne. (2) Les modèles pré-entraînés sur le CT du corps entier démontrent un transfert de modalité efficace, s'adaptant bien à d'autres modalités telles que l'IRM. (3) Le pré-entraînement sur le CT du corps entier soutient non seulement de bonnes performances en matière de détection de structures, mais montre également une efficacité dans la détection de lésions, démontrant une adaptabilité à travers les tâches cibles. Nous espérons que cette évaluation ouverte à grande échelle de l'apprentissage par transfert pourra orienter les futures recherches en segmentation d'images médicales volumétriques.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.