MRGen : Moteur de données contrôlable basé sur la diffusion pour la segmentation IRM vers des modalités non annotées

MRGen: Diffusion-based Controllable Data Engine for MRI Segmentation towards Unannotated Modalities

December 4, 2024

Auteurs: Haoning Wu, Ziheng Zhao, Ya Zhang, Weidi Xie, Yanfeng Wang

cs.AI

Résumé

La segmentation d'images médicales a récemment montré des progrès impressionnants avec les réseaux neuronaux profonds, cependant les modalités hétérogènes et la rareté des annotations de masques limitent le développement de modèles de segmentation sur des modalités non annotées. Cet article explore un nouveau paradigme pour exploiter les modèles génératifs dans les applications médicales : la synthèse contrôlable de données pour des modalités non annotées, sans nécessiter de paires de données enregistrées. Plus précisément, nous apportons les contributions suivantes dans cet article : (i) nous collectons et organisons un ensemble de données image-texte en radiologie à grande échelle, MedGen-1M, comprenant des étiquettes de modalité, des attributs, des informations sur la région et les organes, ainsi qu'un sous-ensemble d'annotations de masques d'organes, pour soutenir la recherche en génération d'images médicales contrôlable ; (ii) nous proposons un moteur de données basé sur la diffusion, appelé MRGen, qui permet la génération conditionnée par des instructions textuelles et des masques, en synthétisant des images IRM pour diverses modalités manquant d'annotations de masques, pour entraîner des modèles de segmentation sur des modalités non annotées ; (iii) nous menons des expériences approfondies sur diverses modalités, illustrant que notre moteur de données peut synthétiser efficacement des échantillons d'entraînement et étendre la segmentation par IRM vers des modalités non annotées.

English

Medical image segmentation has recently demonstrated impressive progress with deep neural networks, yet the heterogeneous modalities and scarcity of mask annotations limit the development of segmentation models on unannotated modalities. This paper investigates a new paradigm for leveraging generative models in medical applications: controllably synthesizing data for unannotated modalities, without requiring registered data pairs. Specifically, we make the following contributions in this paper: (i) we collect and curate a large-scale radiology image-text dataset, MedGen-1M, comprising modality labels, attributes, region, and organ information, along with a subset of organ mask annotations, to support research in controllable medical image generation; (ii) we propose a diffusion-based data engine, termed MRGen, which enables generation conditioned on text prompts and masks, synthesizing MR images for diverse modalities lacking mask annotations, to train segmentation models on unannotated modalities; (iii) we conduct extensive experiments across various modalities, illustrating that our data engine can effectively synthesize training samples and extend MRI segmentation towards unannotated modalities.