ECG-Reasoning-Benchmark: Un Punto de Referencia para Evaluar las Capacidades de Razonamiento Clínico en la Interpretación de ECG
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
March 15, 2026
Autores: Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi
cs.AI
Resumen
Si bien los Modelos de Lenguaje Multimodales a Gran Escala (MLLMs) muestran un rendimiento prometedor en la interpretación automatizada de electrocardiogramas, no está claro si realmente realizan un razonamiento paso a paso genuino o simplemente se basan en claves visuales superficiales. Para investigar esto, presentamos ECG-Reasoning-Benchmark, un novedoso marco de evaluación de múltiples turnos que comprende más de 6.400 muestras para evaluar sistemáticamente el razonamiento paso a paso en 17 diagnósticos centrales de ECG. Nuestra evaluación exhaustiva de los modelos más avanzados revela una falla crítica en la ejecución de la deducción lógica multi-etapa. Aunque los modelos poseen el conocimiento médico para recuperar los criterios clínicos de un diagnóstico, exhiben tasas de éxito cercanas a cero (6% de Finalización) en mantener una cadena de razonamiento completa, fallando principalmente en fundamentar los hallazgos de ECG correspondientes en la evidencia visual real de la señal del ECG. Estos resultados demuestran que los MLLMs actuales eluden la verdadera interpretación visual, exponiendo un defecto crítico en los paradigmas de entrenamiento existentes y subrayando la necesidad de una IA médica robusta y centrada en el razonamiento. El código y los datos están disponibles en https://github.com/Jwoo5/ecg-reasoning-benchmark.
English
While Multimodal Large Language Models (MLLMs) show promising performance in automated electrocardiogram interpretation, it remains unclear whether they genuinely perform actual step-by-step reasoning or just rely on superficial visual cues. To investigate this, we introduce ECG-Reasoning-Benchmark, a novel multi-turn evaluation framework comprising over 6,400 samples to systematically assess step-by-step reasoning across 17 core ECG diagnoses. Our comprehensive evaluation of state-of-the-art models reveals a critical failure in executing multi-step logical deduction. Although models possess the medical knowledge to retrieve clinical criteria for a diagnosis, they exhibit near-zero success rates (6% Completion) in maintaining a complete reasoning chain, primarily failing to ground the corresponding ECG findings to the actual visual evidence in the ECG signal. These results demonstrate that current MLLMs bypass actual visual interpretation, exposing a critical flaw in existing training paradigms and underscoring the necessity for robust, reasoning-centric medical AI. The code and data are available at https://github.com/Jwoo5/ecg-reasoning-benchmark.