BenchX: Un marco de referencia unificado para la evaluación de preentrenamiento de visión y lenguaje médico en radiografías de tórax.

BenchX: A Unified Benchmark Framework for Medical Vision-Language Pretraining on Chest X-Rays

October 29, 2024

Autores: Yang Zhou, Tan Li Hui Faith, Yanyu Xu, Sicong Leng, Xinxing Xu, Yong Liu, Rick Siow Mong Goh

cs.AI

Resumen

El Preentrenamiento de Visión-Lenguaje Médica (MedVLP) muestra promesa en el aprendizaje de representaciones visuales generalizables y transferibles a partir de imágenes médicas emparejadas y no emparejadas, junto con informes. MedVLP puede proporcionar características útiles para tareas posteriores y facilitar la adaptación de modelos específicos de tarea a nuevas configuraciones utilizando menos ejemplos. Sin embargo, los métodos de MedVLP existentes a menudo difieren en cuanto a conjuntos de datos, preprocesamiento e implementaciones de ajuste fino. Esto plantea grandes desafíos para evaluar qué tan bien un método de MedVLP generaliza a diversas tareas clínicamente relevantes debido a la falta de un banco de pruebas unificado, estandarizado y completo. Para llenar este vacío, proponemos BenchX, un marco de referencia unificado que permite la comparación directa y el análisis sistemático entre métodos de MedVLP utilizando conjuntos de datos públicos de radiografías de tórax. Específicamente, BenchX se compone de tres componentes: 1) Conjuntos de datos completos que cubren nueve conjuntos de datos y cuatro tareas médicas; 2) Conjuntos de pruebas para estandarizar el preprocesamiento de datos, las divisiones de entrenamiento-prueba y la selección de parámetros; 3) Protocolos de ajuste fino unificados que acomodan métodos heterogéneos de MedVLP para una adaptación consistente de tareas en clasificación, segmentación y generación de informes, respectivamente. Utilizando BenchX, establecemos líneas de base para nueve métodos de MedVLP de última generación y encontramos que el rendimiento de algunos métodos de MedVLP tempranos puede mejorarse para superar a los más recientes, lo que sugiere una revisión de los desarrollos y conclusiones de trabajos anteriores en MedVLP. Nuestro código está disponible en https://github.com/yangzhou12/BenchX.

English

Medical Vision-Language Pretraining (MedVLP) shows promise in learning generalizable and transferable visual representations from paired and unpaired medical images and reports. MedVLP can provide useful features to downstream tasks and facilitate adapting task-specific models to new setups using fewer examples. However, existing MedVLP methods often differ in terms of datasets, preprocessing, and finetuning implementations. This pose great challenges in evaluating how well a MedVLP method generalizes to various clinically-relevant tasks due to the lack of unified, standardized, and comprehensive benchmark. To fill this gap, we propose BenchX, a unified benchmark framework that enables head-to-head comparison and systematical analysis between MedVLP methods using public chest X-ray datasets. Specifically, BenchX is composed of three components: 1) Comprehensive datasets covering nine datasets and four medical tasks; 2) Benchmark suites to standardize data preprocessing, train-test splits, and parameter selection; 3) Unified finetuning protocols that accommodate heterogeneous MedVLP methods for consistent task adaptation in classification, segmentation, and report generation, respectively. Utilizing BenchX, we establish baselines for nine state-of-the-art MedVLP methods and found that the performance of some early MedVLP methods can be enhanced to surpass more recent ones, prompting a revisiting of the developments and conclusions from prior works in MedVLP. Our code are available at https://github.com/yangzhou12/BenchX.