MRGen: MRIセグメンテーションのための拡散ベースの制御可能なデータエンジン：未注釈モダリティに向けて

MRGen: Diffusion-based Controllable Data Engine for MRI Segmentation towards Unannotated Modalities

December 4, 2024

著者: Haoning Wu, Ziheng Zhao, Ya Zhang, Weidi Xie, Yanfeng Wang

cs.AI

要旨

最近、深層ニューラルネットワークを用いた医用画像セグメンテーションは印象的な進歩を示していますが、異種モダリティとマスク注釈の不足が未注釈モダリティ上でのセグメンテーションモデルの開発を制限しています。本論文では、医療応用における生成モデルを活用する新しいパラダイムを検討し、未注釈モダリティ向けにデータを制御可能に合成する手法を調査します。具体的には、本論文では以下の貢献を行います：(i) モダリティラベル、属性、領域、器官情報、および一部の器官マスク注釈を含む大規模な放射線画像テキストデータセットMedGen-1Mを収集・整備し、制御可能な医用画像生成の研究を支援します；(ii) ディフュージョンベースのデータエンジンであるMRGenを提案し、テキストプロンプトとマスクによる条件付き生成を可能とし、マスク注釈のない多様なモダリティ向けにMR画像を合成し、未注釈モダリティ上でのセグメンテーションモデルのトレーニングを行います；(iii) 様々なモダリティにわたる包括的な実験を実施し、当該データエンジンが効果的にトレーニングサンプルを合成し、MRIセグメンテーションを未注釈モダリティに拡張できることを示します。

English

Medical image segmentation has recently demonstrated impressive progress with deep neural networks, yet the heterogeneous modalities and scarcity of mask annotations limit the development of segmentation models on unannotated modalities. This paper investigates a new paradigm for leveraging generative models in medical applications: controllably synthesizing data for unannotated modalities, without requiring registered data pairs. Specifically, we make the following contributions in this paper: (i) we collect and curate a large-scale radiology image-text dataset, MedGen-1M, comprising modality labels, attributes, region, and organ information, along with a subset of organ mask annotations, to support research in controllable medical image generation; (ii) we propose a diffusion-based data engine, termed MRGen, which enables generation conditioned on text prompts and masks, synthesizing MR images for diverse modalities lacking mask annotations, to train segmentation models on unannotated modalities; (iii) we conduct extensive experiments across various modalities, illustrating that our data engine can effectively synthesize training samples and extend MRI segmentation towards unannotated modalities.