Enseñar a los LLMs Multimodales a Comprender Imágenes Electrocardiográficas

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

Autores: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

Resumen

El electrocardiograma (ECG) es una herramienta diagnóstica esencial no invasiva para evaluar condiciones cardíacas. Los métodos automáticos de interpretación existentes sufren de una generalización limitada, centrándose en un rango estrecho de condiciones cardíacas y típicamente dependen de señales fisiológicas crudas, que pueden no estar fácilmente disponibles en entornos con recursos limitados donde solo se pueden acceder a imágenes de ECG impresas o digitales. Los avances recientes en modelos de lenguaje grandes multimodales (MLLMs) presentan oportunidades prometedoras para abordar estos desafíos. Sin embargo, la aplicación de MLLMs a la interpretación de imágenes de ECG sigue siendo desafiante debido a la falta de conjuntos de datos de ajuste de instrucciones y benchmarks de imágenes de ECG bien establecidos para evaluación cuantitativa. Para abordar estos desafíos, presentamos ECGInstruct, un conjunto de datos de ajuste de instrucciones de imágenes de ECG completo con más de un millón de muestras, que cubre una amplia gama de tareas relacionadas con ECG de diversas fuentes de datos. Utilizando ECGInstruct, desarrollamos PULSE, un MLLM adaptado para la comprensión de imágenes de ECG. Además, creamos ECGBench, un nuevo benchmark de evaluación que cubre cuatro tareas clave de interpretación de imágenes de ECG en nueve conjuntos de datos diferentes. Nuestros experimentos muestran que PULSE establece un nuevo estado del arte, superando a los MLLMs generales con una mejora promedio de precisión del 15% al 30%. Este trabajo destaca el potencial de PULSE para mejorar la interpretación de ECG en la práctica clínica.

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.