SegBook: 体積メディカル画像セグメンテーションのためのシンプルなベースラインと手引書

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

著者: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

要旨

コンピュータ断層撮影（CT）は医用画像の中でも最も人気のあるモダリティの1つです。CT画像は、体全体の解剖構造をカバーする容積医用セグメンテーションタスク向けの最大の公開データセットに貢献しています。大量の全身CT画像は、STU-Netなどの強力なモデルを事前学習する機会を提供し、監督学習で事前学習されたモデルを使用して多数の解剖構造をセグメント化することが可能です。ただし、これらの事前学習モデルがさまざまな後段医用セグメンテーションタスクにどのような条件で転送できるかは依然として不明です。この問題に対処するためには、これらの条件を見つけるために包括的な評価のための大規模ベンチマークが不可欠です。したがって、私たちは、モダリティ、ターゲット、およびサンプルサイズが異なる87の公開データセットを収集し、全身CT事前学習モデルの転送能力を評価しました。そして、複数のモデルスケールを持つ代表的なモデルであるSTU-Netを使用して、モダリティおよびターゲット間での転移学習を行いました。実験結果は、次のように示しています：（1）ファインチューニングにおいてデータセットサイズに関するボトルネック効果がある可能性があり、中規模のデータセットよりも小規模および大規模のデータセットの両方で改善が見られます。 （2）全身CTで事前学習されたモデルは、MRIなど他のモダリティにも適応性が高いモダリティ転送を示します。 （3）全身CTでの事前学習は、構造検出において強力なパフォーマンスをサポートするだけでなく、病変検出においても効果を示し、ターゲットタスク間での適応性を示しています。この転移学習の大規模なオープン評価が、将来の容積医用画像セグメンテーションの研究を導くことを期待しています。

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.