ECG-Reasoning-Benchmark: Um Benchmark para Avaliar as Capacidades de Raciocínio Clínico na Interpretação de ECG
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
March 15, 2026
Autores: Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi
cs.AI
Resumo
Embora os Modelos de Linguagem Multimodais de Grande Porte (MLLMs) demonstrem desempenho promissor na interpretação automatizada de eletrocardiogramas, permanece incerto se eles realmente realizam um raciocínio passo a passo genuíno ou se apenas dependem de pistas visuais superficiais. Para investigar isso, apresentamos o *ECG-Reasoning-Benchmark*, uma nova estrutura de avaliação multi-turn que compreende mais de 6.400 amostras para avaliar sistematicamente o raciocínio passo a passo em 17 diagnósticos centrais de ECG. Nossa avaliação abrangente dos modelos state-of-the-art revela uma falha crítica na execução da dedução lógica multi-etapas. Embora os modelos possuam o conhecimento médico para recuperar critérios clínicos para um diagnóstico, eles exibem taxas de sucesso próximas de zero (6% de Conclusão) em manter uma cadeia de raciocínio completa, falhando principalmente em fundamentar os achados de ECG correspondentes na evidência visual real do sinal de ECG. Esses resultados demonstram que os MLLMs atuais contornam a interpretação visual real, expondo uma falha crítica nos paradigmas de treinamento existentes e ressaltando a necessidade de uma IA médica robusta e centrada no raciocínio. O código e os dados estão disponíveis em https://github.com/Jwoo5/ecg-reasoning-benchmark.
English
While Multimodal Large Language Models (MLLMs) show promising performance in automated electrocardiogram interpretation, it remains unclear whether they genuinely perform actual step-by-step reasoning or just rely on superficial visual cues. To investigate this, we introduce ECG-Reasoning-Benchmark, a novel multi-turn evaluation framework comprising over 6,400 samples to systematically assess step-by-step reasoning across 17 core ECG diagnoses. Our comprehensive evaluation of state-of-the-art models reveals a critical failure in executing multi-step logical deduction. Although models possess the medical knowledge to retrieve clinical criteria for a diagnosis, they exhibit near-zero success rates (6% Completion) in maintaining a complete reasoning chain, primarily failing to ground the corresponding ECG findings to the actual visual evidence in the ECG signal. These results demonstrate that current MLLMs bypass actual visual interpretation, exposing a critical flaw in existing training paradigms and underscoring the necessity for robust, reasoning-centric medical AI. The code and data are available at https://github.com/Jwoo5/ecg-reasoning-benchmark.