MRGen: Motor de Datos Controlable basado en Difusión para la Segmentación de MRI hacia Modalidades No Anotadas

MRGen: Diffusion-based Controllable Data Engine for MRI Segmentation towards Unannotated Modalities

December 4, 2024

Autores: Haoning Wu, Ziheng Zhao, Ya Zhang, Weidi Xie, Yanfeng Wang

cs.AI

Resumen

La segmentación de imágenes médicas ha demostrado recientemente un progreso impresionante con redes neuronales profundas, sin embargo, las modalidades heterogéneas y la escasez de anotaciones de máscaras limitan el desarrollo de modelos de segmentación en modalidades no anotadas. Este artículo investiga un nuevo paradigma para aprovechar los modelos generativos en aplicaciones médicas: sintetizar datos de manera controlada para modalidades no anotadas, sin necesidad de datos registrados emparejados. Específicamente, realizamos las siguientes contribuciones en este artículo: (i) recopilamos y curamos un conjunto de datos de imágenes y texto de radiología a gran escala, MedGen-1M, que incluye etiquetas de modalidad, atributos, información de región y órganos, junto con un subconjunto de anotaciones de máscaras de órganos, para respaldar la investigación en generación de imágenes médicas controlables; (ii) proponemos un motor de datos basado en difusión, denominado MRGen, que permite la generación condicionada a través de indicaciones de texto y máscaras, sintetizando imágenes de resonancia magnética para diversas modalidades que carecen de anotaciones de máscaras, para entrenar modelos de segmentación en modalidades no anotadas; (iii) realizamos experimentos extensos en varias modalidades, demostrando que nuestro motor de datos puede sintetizar de manera efectiva muestras de entrenamiento y extender la segmentación de resonancia magnética hacia modalidades no anotadas.

English

Medical image segmentation has recently demonstrated impressive progress with deep neural networks, yet the heterogeneous modalities and scarcity of mask annotations limit the development of segmentation models on unannotated modalities. This paper investigates a new paradigm for leveraging generative models in medical applications: controllably synthesizing data for unannotated modalities, without requiring registered data pairs. Specifically, we make the following contributions in this paper: (i) we collect and curate a large-scale radiology image-text dataset, MedGen-1M, comprising modality labels, attributes, region, and organ information, along with a subset of organ mask annotations, to support research in controllable medical image generation; (ii) we propose a diffusion-based data engine, termed MRGen, which enables generation conditioned on text prompts and masks, synthesizing MR images for diverse modalities lacking mask annotations, to train segmentation models on unannotated modalities; (iii) we conduct extensive experiments across various modalities, illustrating that our data engine can effectively synthesize training samples and extend MRI segmentation towards unannotated modalities.