ECG-Reasoning-Benchmark : Un benchmark pour l'évaluation des capacités de raisonnement clinique dans l'interprétation de l'ECG
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
March 15, 2026
Auteurs: Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi
cs.AI
Résumé
Bien que les modèles de langage multimodaux (MLLM) affichent des performances prometteuses dans l'interprétation automatisée des électrocardiogrammes, il reste incertain s'ils effectuent un véritable raisonnement séquentiel ou s'ils s'appuient simplement sur des indices visuels superficiels. Pour étudier cette question, nous présentons ECG-Reasoning-Benchmark, un nouveau cadre d'évaluation multi-tours comprenant plus de 6 400 échantillons pour évaluer systématiquement le raisonnement étape par étape dans 17 diagnostics ECG fondamentaux. Notre évaluation exhaustive des modèles de pointe révèle un échec critique dans l'exécution de la déduction logique multi-étapes. Bien que les modèles possèdent les connaissances médicales pour retrouver les critères cliniques d'un diagnostic, ils présentent des taux de réussite quasi nuls (6% d'achèvement) dans le maintien d'une chaîne de raisonnement complète, échouant principalement à ancrer les observations ECG correspondantes aux preuves visuelles réelles du signal électrocardiographique. Ces résultats démontrent que les MLLM actuels contournent l'interprétation visuelle réelle, exposant une faille critique dans les paradigmes d'entraînement existants et soulignant la nécessité d'une IA médicale robuste centrée sur le raisonnement. Le code et les données sont disponibles à l'adresse https://github.com/Jwoo5/ecg-reasoning-benchmark.
English
While Multimodal Large Language Models (MLLMs) show promising performance in automated electrocardiogram interpretation, it remains unclear whether they genuinely perform actual step-by-step reasoning or just rely on superficial visual cues. To investigate this, we introduce ECG-Reasoning-Benchmark, a novel multi-turn evaluation framework comprising over 6,400 samples to systematically assess step-by-step reasoning across 17 core ECG diagnoses. Our comprehensive evaluation of state-of-the-art models reveals a critical failure in executing multi-step logical deduction. Although models possess the medical knowledge to retrieve clinical criteria for a diagnosis, they exhibit near-zero success rates (6% Completion) in maintaining a complete reasoning chain, primarily failing to ground the corresponding ECG findings to the actual visual evidence in the ECG signal. These results demonstrate that current MLLMs bypass actual visual interpretation, exposing a critical flaw in existing training paradigms and underscoring the necessity for robust, reasoning-centric medical AI. The code and data are available at https://github.com/Jwoo5/ecg-reasoning-benchmark.