CXReasonBench: Een benchmark voor het evalueren van gestructureerde diagnostische redeneervaardigheden bij thoraxfoto's

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

May 23, 2025

Auteurs: Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

cs.AI

Samenvatting

Recente vooruitgang in Large Vision-Language Models (LVLMs) heeft veelbelovende toepassingen mogelijk gemaakt in medische taken, zoals rapportgeneratie en visuele vraagbeantwoording. Bestaande benchmarks richten zich echter voornamelijk op het uiteindelijke diagnostische antwoord, wat beperkt inzicht biedt in of modellen klinisch zinvolle redeneringen toepassen. Om dit aan te pakken, presenteren we CheXStruct en CXReasonBench, een gestructureerde pijplijn en benchmark gebaseerd op het publiek beschikbare MIMIC-CXR-JPG-dataset. CheXStruct leidt automatisch een reeks tussenliggende redeneerstappen af direct uit thoraxfoto's, zoals het segmenteren van anatomische regio's, het afleiden van anatomische oriëntatiepunten en diagnostische metingen, het berekenen van diagnostische indices en het toepassen van klinische drempelwaarden. CXReasonBench maakt gebruik van deze pijplijn om te evalueren of modellen klinisch valide redeneerstappen kunnen uitvoeren en in hoeverre ze kunnen leren van gestructureerde begeleiding, waardoor een gedetailleerde en transparante beoordeling van diagnostische redenering mogelijk wordt. De benchmark omvat 18.988 vraag-antwoordparen over 12 diagnostische taken en 1.200 gevallen, elk gekoppeld aan maximaal 4 visuele invoeren, en ondersteunt multi-path, multi-stage evaluatie, inclusief visuele verankering via anatomische regioselectie en diagnostische metingen. Zelfs de sterkste van de 10 geëvalueerde LVLMs worstelen met gestructureerd redeneren en generalisatie, waarbij ze vaak falen om abstracte kennis te koppelen aan anatomisch verankerde visuele interpretatie. De code is beschikbaar op https://github.com/ttumyche/CXReasonBench.

English

Recent progress in Large Vision-Language Models (LVLMs) has enabled promising applications in medical tasks, such as report generation and visual question answering. However, existing benchmarks focus mainly on the final diagnostic answer, offering limited insight into whether models engage in clinically meaningful reasoning. To address this, we present CheXStruct and CXReasonBench, a structured pipeline and benchmark built on the publicly available MIMIC-CXR-JPG dataset. CheXStruct automatically derives a sequence of intermediate reasoning steps directly from chest X-rays, such as segmenting anatomical regions, deriving anatomical landmarks and diagnostic measurements, computing diagnostic indices, and applying clinical thresholds. CXReasonBench leverages this pipeline to evaluate whether models can perform clinically valid reasoning steps and to what extent they can learn from structured guidance, enabling fine-grained and transparent assessment of diagnostic reasoning. The benchmark comprises 18,988 QA pairs across 12 diagnostic tasks and 1,200 cases, each paired with up to 4 visual inputs, and supports multi-path, multi-stage evaluation including visual grounding via anatomical region selection and diagnostic measurements. Even the strongest of 10 evaluated LVLMs struggle with structured reasoning and generalization, often failing to link abstract knowledge with anatomically grounded visual interpretation. The code is available at https://github.com/ttumyche/CXReasonBench