Обучение мультимодальных языковых моделей с вниманием к пониманию электрокардиографических изображений.

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

Авторы: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

Аннотация

Электрокардиограмма (ЭКГ) является важным неинвазивным диагностическим инструментом для оценки сердечных состояний. Существующие методы автоматической интерпретации страдают от ограниченной обобщаемости, сосредотачиваясь на узком диапазоне сердечных состояний и обычно зависят от сырых физиологических сигналов, которые могут быть недоступны в условиях ограниченных ресурсов, где доступны только напечатанные или цифровые изображения ЭКГ. Недавние достижения в мультимодельных моделях на основе языка (MLLM) представляют собой многообещающие возможности для решения этих проблем. Однако применение MLLM к интерпретации изображений ЭКГ остается сложным из-за отсутствия наборов данных для настройки инструкций и хорошо установленных эталонов изображений ЭКГ для количественной оценки. Для решения этих проблем мы представляем ECGInstruct, обширный набор данных для настройки инструкций по изображениям ЭКГ более чем из миллиона образцов, охватывающий широкий спектр задач, связанных с ЭКГ, из различных источников данных. Используя ECGInstruct, мы разрабатываем PULSE, MLLM, настроенную на понимание изображений ЭКГ. Кроме того, мы составляем ECGBench, новый бенчмарк для оценки, охватывающий четыре ключевые задачи интерпретации изображений ЭКГ по девяти различным наборам данных. Наши эксперименты показывают, что PULSE устанавливает новый уровень качества, превосходя общие MLLM с улучшением средней точности от 15% до 30%. Эта работа подчеркивает потенциал PULSE для улучшения интерпретации ЭКГ в клинической практике.

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.