CXReasonBench : Un benchmark pour évaluer le raisonnement diagnostique structuré dans les radiographies thoraciques

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

May 23, 2025

Auteurs: Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

cs.AI

Résumé

Les récents progrès des grands modèles vision-langage (LVLMs) ont permis des applications prometteuses dans les tâches médicales, telles que la génération de rapports et la réponse à des questions visuelles. Cependant, les benchmarks existants se concentrent principalement sur la réponse diagnostique finale, offrant un aperçu limité de la capacité des modèles à engager un raisonnement cliniquement pertinent. Pour remédier à cela, nous présentons CheXStruct et CXReasonBench, un pipeline structuré et un benchmark construits sur le jeu de données MIMIC-CXR-JPG, accessible au public. CheXStruct dérive automatiquement une séquence d'étapes de raisonnement intermédiaires directement à partir de radiographies thoraciques, telles que la segmentation des régions anatomiques, l'identification des repères anatomiques et des mesures diagnostiques, le calcul des indices diagnostiques, et l'application de seuils cliniques. CXReasonBench exploite ce pipeline pour évaluer si les modèles peuvent effectuer des étapes de raisonnement cliniquement valides et dans quelle mesure ils peuvent apprendre à partir d'un guidage structuré, permettant une évaluation fine et transparente du raisonnement diagnostique. Le benchmark comprend 18 988 paires de questions-réponses réparties sur 12 tâches diagnostiques et 1 200 cas, chacun associé à jusqu'à 4 entrées visuelles, et prend en charge une évaluation multi-voies et multi-étapes, incluant l'ancrage visuel via la sélection de régions anatomiques et les mesures diagnostiques. Même les plus performants des 10 LVLMs évalués éprouvent des difficultés avec le raisonnement structuré et la généralisation, échouant souvent à relier les connaissances abstraites à une interprétation visuelle ancrée dans l'anatomie. Le code est disponible à l'adresse suivante : https://github.com/ttumyche/CXReasonBench

English

Recent progress in Large Vision-Language Models (LVLMs) has enabled promising applications in medical tasks, such as report generation and visual question answering. However, existing benchmarks focus mainly on the final diagnostic answer, offering limited insight into whether models engage in clinically meaningful reasoning. To address this, we present CheXStruct and CXReasonBench, a structured pipeline and benchmark built on the publicly available MIMIC-CXR-JPG dataset. CheXStruct automatically derives a sequence of intermediate reasoning steps directly from chest X-rays, such as segmenting anatomical regions, deriving anatomical landmarks and diagnostic measurements, computing diagnostic indices, and applying clinical thresholds. CXReasonBench leverages this pipeline to evaluate whether models can perform clinically valid reasoning steps and to what extent they can learn from structured guidance, enabling fine-grained and transparent assessment of diagnostic reasoning. The benchmark comprises 18,988 QA pairs across 12 diagnostic tasks and 1,200 cases, each paired with up to 4 visual inputs, and supports multi-path, multi-stage evaluation including visual grounding via anatomical region selection and diagnostic measurements. Even the strongest of 10 evaluated LVLMs struggle with structured reasoning and generalization, often failing to link abstract knowledge with anatomically grounded visual interpretation. The code is available at https://github.com/ttumyche/CXReasonBench