ECG-Reasoning-Benchmark: Een benchmark voor het evalueren van klinische redeneervaardigheden bij ECG-interpretatie
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
March 15, 2026
Auteurs: Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi
cs.AI
Samenvatting
Hoewel Multimodale Large Language Models (MLLM's) veelbelovende prestaties vertonen bij de geautomatiseerde interpretatie van elektrocardiogrammen, is het onduidelijk of ze daadwerkelijk stap-voor-stap redeneren of slechts vertrouwen op oppervlakkige visuele aanwijzingen. Om dit te onderzoeken, introduceren we ECG-Reasoning-Benchmark, een nieuw multi-turn evaluatiekader met meer dan 6.400 monsters om stap-voor-stap redeneren systematisch te beoordelen voor 17 kern-ECG-diagnoses. Onze uitgebreide evaluatie van state-of-the-art modellen onthult een kritiek falen in het uitvoeren van meerstaps logische deductie. Hoewel de modellen over de medische kennis beschikken om klinische criteria voor een diagnose op te halen, vertonen ze een slagingspercentage van bijna nul (6% voltooiing) in het handhaven van een complete redeneerketen, waarbij ze vooral falen in het koppelen van de corresponderende ECG-bevindingen aan het daadwerkelijke visuele bewijs in het ECG-signaal. Deze resultaten tonen aan dat huidige MLLM's daadwerkelijke visuele interpretatie omzeilen, wat een kritieke fout blootlegt in bestaande trainingsparadigma's en de noodzaak benadrukt van robuuste, op redeneren gerichte medische AI. De code en gegevens zijn beschikbaar op https://github.com/Jwoo5/ecg-reasoning-benchmark.
English
While Multimodal Large Language Models (MLLMs) show promising performance in automated electrocardiogram interpretation, it remains unclear whether they genuinely perform actual step-by-step reasoning or just rely on superficial visual cues. To investigate this, we introduce ECG-Reasoning-Benchmark, a novel multi-turn evaluation framework comprising over 6,400 samples to systematically assess step-by-step reasoning across 17 core ECG diagnoses. Our comprehensive evaluation of state-of-the-art models reveals a critical failure in executing multi-step logical deduction. Although models possess the medical knowledge to retrieve clinical criteria for a diagnosis, they exhibit near-zero success rates (6% Completion) in maintaining a complete reasoning chain, primarily failing to ground the corresponding ECG findings to the actual visual evidence in the ECG signal. These results demonstrate that current MLLMs bypass actual visual interpretation, exposing a critical flaw in existing training paradigms and underscoring the necessity for robust, reasoning-centric medical AI. The code and data are available at https://github.com/Jwoo5/ecg-reasoning-benchmark.