ECG-Reasoning-Benchmark: Un Benchmark per Valutare le Capacità di Ragionamento Clinico nell'Interpretazione dell'Elettrocardiogramma
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
March 15, 2026
Autori: Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi
cs.AI
Abstract
Sebbene i Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) mostrino prestazioni promettenti nell'interpretazione automatizzata degli elettrocardiogrammi, non è chiaro se essi eseguano un reale ragionamento passo-passo o si affidino semplicemente a indizi visivi superficiali. Per indagare ciò, introduciamo ECG-Reasoning-Benchmark, un nuovo framework di valutazione multi-turn composto da oltre 6.400 campioni per valutare sistematicamente il ragionamento sequenziale attraverso 17 diagnosi ECG fondamentali. La nostra valutazione completa dei modelli più all'avanguardia rivela un fallimento critico nell'esecuzione di deduzioni logiche multi-step. Sebbene i modelli possiedano la conoscenza medica per recuperare i criteri clinici di una diagnosi, mostrano tassi di successo quasi nulli (6% di Completamento) nel mantenere una catena di ragionamento completa, fallendo principalmente nell'ancorare i corrispondenti reperti ECG all'effettiva evidenza visiva nel segnale elettrocardiografico. Questi risultati dimostrano che gli MLLM attuali bypassano l'effettiva interpretazione visiva, esponendo una lacuna critica nei paradigmi di addestramento esistenti e sottolineando la necessità di un'IA medica robusta e centrata sul ragionamento. Il codice e i dati sono disponibili all'indirizzo https://github.com/Jwoo5/ecg-reasoning-benchmark.
English
While Multimodal Large Language Models (MLLMs) show promising performance in automated electrocardiogram interpretation, it remains unclear whether they genuinely perform actual step-by-step reasoning or just rely on superficial visual cues. To investigate this, we introduce ECG-Reasoning-Benchmark, a novel multi-turn evaluation framework comprising over 6,400 samples to systematically assess step-by-step reasoning across 17 core ECG diagnoses. Our comprehensive evaluation of state-of-the-art models reveals a critical failure in executing multi-step logical deduction. Although models possess the medical knowledge to retrieve clinical criteria for a diagnosis, they exhibit near-zero success rates (6% Completion) in maintaining a complete reasoning chain, primarily failing to ground the corresponding ECG findings to the actual visual evidence in the ECG signal. These results demonstrate that current MLLMs bypass actual visual interpretation, exposing a critical flaw in existing training paradigms and underscoring the necessity for robust, reasoning-centric medical AI. The code and data are available at https://github.com/Jwoo5/ecg-reasoning-benchmark.