CXReasonBench: Ein Benchmark zur Bewertung strukturierter diagnostischer Schlussfolgerungen bei Röntgenaufnahmen des Brustkorbs

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

May 23, 2025

Autoren: Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen visuell-sprachlichen Modellen (Large Vision-Language Models, LVLMs) haben vielversprechende Anwendungen in medizinischen Aufgaben ermöglicht, wie beispielsweise die Generierung von Berichten und visuelle Frage-Antwort-Systeme. Allerdings konzentrieren sich bestehende Benchmarks hauptsächlich auf die endgültige Diagnose und bieten nur begrenzte Einblicke, ob die Modelle klinisch relevante Schlussfolgerungen ziehen. Um dies zu adressieren, präsentieren wir CheXStruct und CXReasonBench, eine strukturierte Pipeline und einen Benchmark, die auf dem öffentlich verfügbaren MIMIC-CXR-JPG-Datensatz basieren. CheXStruct leitet automatisch eine Abfolge von Zwischenschritten direkt aus Röntgenaufnahmen des Brustkorbs ab, wie beispielsweise die Segmentierung anatomischer Regionen, die Ableitung anatomischer Landmarken und diagnostischer Messungen, die Berechnung diagnostischer Indizes und die Anwendung klinischer Schwellenwerte. CXReasonBench nutzt diese Pipeline, um zu bewerten, ob Modelle klinisch valide Schlussfolgerungsschritte durchführen können und inwieweit sie aus strukturierter Anleitung lernen können, was eine fein granulierte und transparente Bewertung der diagnostischen Schlussfolgerung ermöglicht. Der Benchmark umfasst 18.988 Frage-Antwort-Paare über 12 diagnostische Aufgaben und 1.200 Fälle, jeweils gepaart mit bis zu 4 visuellen Eingaben, und unterstützt eine mehrpfadige, mehrstufige Bewertung, einschließlich visueller Verankerung durch die Auswahl anatomischer Regionen und diagnostischer Messungen. Selbst die stärksten der 10 evaluierten LVLMs haben Schwierigkeiten mit strukturiertem Denken und Generalisierung und scheitern oft daran, abstraktes Wissen mit anatomisch fundierter visueller Interpretation zu verknüpfen. Der Code ist verfügbar unter https://github.com/ttumyche/CXReasonBench.

English

Recent progress in Large Vision-Language Models (LVLMs) has enabled promising applications in medical tasks, such as report generation and visual question answering. However, existing benchmarks focus mainly on the final diagnostic answer, offering limited insight into whether models engage in clinically meaningful reasoning. To address this, we present CheXStruct and CXReasonBench, a structured pipeline and benchmark built on the publicly available MIMIC-CXR-JPG dataset. CheXStruct automatically derives a sequence of intermediate reasoning steps directly from chest X-rays, such as segmenting anatomical regions, deriving anatomical landmarks and diagnostic measurements, computing diagnostic indices, and applying clinical thresholds. CXReasonBench leverages this pipeline to evaluate whether models can perform clinically valid reasoning steps and to what extent they can learn from structured guidance, enabling fine-grained and transparent assessment of diagnostic reasoning. The benchmark comprises 18,988 QA pairs across 12 diagnostic tasks and 1,200 cases, each paired with up to 4 visual inputs, and supports multi-path, multi-stage evaluation including visual grounding via anatomical region selection and diagnostic measurements. Even the strongest of 10 evaluated LVLMs struggle with structured reasoning and generalization, often failing to link abstract knowledge with anatomically grounded visual interpretation. The code is available at https://github.com/ttumyche/CXReasonBench