SegBook: Uma Linha de Base Simples e Livro de Receitas para Segmentação de Imagens Médicas Volumétricas

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

Autores: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

Resumo

A Tomografia Computadorizada (TC) é uma das modalidades mais populares para imagens médicas. De longe, as imagens de TC têm contribuído para os maiores conjuntos de dados publicamente disponíveis para tarefas de segmentação médica volumétrica, abrangendo estruturas anatômicas de corpo inteiro. Grandes quantidades de imagens de TC de corpo inteiro proporcionam a oportunidade de pré-treinar modelos poderosos, por exemplo, o STU-Net pré-treinado de forma supervisionada, para segmentar inúmeras estruturas anatômicas. No entanto, ainda não está claro em quais condições esses modelos pré-treinados podem ser transferidos para várias tarefas de segmentação médica downstream, em particular segmentando outras modalidades e alvos diversos. Para abordar esse problema, um benchmark em larga escala para avaliação abrangente é crucial para encontrar essas condições. Assim, coletamos 87 conjuntos de dados públicos variando em modalidade, alvo e tamanho da amostra para avaliar a capacidade de transferência de modelos pré-treinados de TC de corpo inteiro. Em seguida, empregamos um modelo representativo, o STU-Net com múltiplas escalas de modelo, para realizar aprendizado de transferência entre modalidades e alvos. Nossos resultados experimentais mostram que (1) pode haver um efeito de gargalo em relação ao tamanho do conjunto de dados no ajuste fino, com mais melhorias em conjuntos de dados pequenos e grandes do que nos de tamanho médio. (2) Modelos pré-treinados em TC de corpo inteiro demonstram transferência de modalidade eficaz, se adaptando bem a outras modalidades como a RM. (3) O pré-treinamento na TC de corpo inteiro não só suporta um desempenho forte na detecção de estruturas, mas também mostra eficácia na detecção de lesões, demonstrando adaptabilidade em tarefas de alvo. Esperamos que essa avaliação aberta em larga escala de aprendizado de transferência possa direcionar pesquisas futuras em segmentação de imagens médicas volumétricas.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.