ECG-Reasoning-Benchmark: Ein Benchmark zur Bewertung klinischer Denkfähigkeiten bei der EKG-Interpretation
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
March 15, 2026
Autoren: Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi
cs.AI
Zusammenfassung
Während Multimodale Large Language Models (MLLMs) vielversprechende Leistungen in der automatisierten EKG-Interpretation zeigen, bleibt unklar, ob sie tatsächlich eine schrittweise Schlussfolgerung durchführen oder sich lediglich auf oberflächliche visuelle Merkmale verlassen. Um dies zu untersuchen, führen wir ECG-Reasoning-Benchmark ein, einen neuartigen Multi-Turn-Evaluierungsrahmen mit über 6.400 Stichproben, um schrittweise Schlussfolgerungen über 17 Kern-EKG-Diagnosen systematisch zu bewerten. Unsere umfassende Evaluierung modernster Modelle zeigt ein kritisches Versagen bei der Ausführung mehrstufiger logischer Deduktion. Obwohl die Modelle über das medizinische Wissen verfügen, um klinische Kriterien für eine Diagnose abzurufen, weisen sie nahezu Null-Erfolgsquoten (6% Completion) bei der Aufrechterhaltung einer vollständigen Begründungskette auf, wobei sie hauptsächlich versagen, die entsprechenden EKG-Befunde auf die tatsächlichen visuellen Evidenzen im EKG-Signal zu beziehen. Diese Ergebnisse demonstrieren, dass aktuelle MLLMs die eigentliche visuelle Interpretation umgehen, was einen kritischen Fehler in bestehenden Trainingsparadigmen aufdeckt und die Notwendigkeit einer robusten, schlussfolgerungszentrierten medizinischen KI unterstreicht. Der Code und die Daten sind unter https://github.com/Jwoo5/ecg-reasoning-benchmark verfügbar.
English
While Multimodal Large Language Models (MLLMs) show promising performance in automated electrocardiogram interpretation, it remains unclear whether they genuinely perform actual step-by-step reasoning or just rely on superficial visual cues. To investigate this, we introduce ECG-Reasoning-Benchmark, a novel multi-turn evaluation framework comprising over 6,400 samples to systematically assess step-by-step reasoning across 17 core ECG diagnoses. Our comprehensive evaluation of state-of-the-art models reveals a critical failure in executing multi-step logical deduction. Although models possess the medical knowledge to retrieve clinical criteria for a diagnosis, they exhibit near-zero success rates (6% Completion) in maintaining a complete reasoning chain, primarily failing to ground the corresponding ECG findings to the actual visual evidence in the ECG signal. These results demonstrate that current MLLMs bypass actual visual interpretation, exposing a critical flaw in existing training paradigms and underscoring the necessity for robust, reasoning-centric medical AI. The code and data are available at https://github.com/Jwoo5/ecg-reasoning-benchmark.