CXReasonBench: Un punto de referencia para evaluar el razonamiento diagnóstico estructurado en radiografías de tórax

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

May 23, 2025

Autores: Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

cs.AI

Resumen

Los recientes avances en los Modelos de Gran Escala de Visión y Lenguaje (LVLMs, por sus siglas en inglés) han permitido aplicaciones prometedoras en tareas médicas, como la generación de informes y la respuesta a preguntas visuales. Sin embargo, los puntos de referencia existentes se centran principalmente en la respuesta diagnóstica final, ofreciendo una visión limitada sobre si los modelos realizan un razonamiento clínicamente significativo. Para abordar esto, presentamos CheXStruct y CXReasonBench, una pipeline estructurada y un punto de referencia construidos sobre el conjunto de datos MIMIC-CXR-JPG, disponible públicamente. CheXStruct deriva automáticamente una secuencia de pasos intermedios de razonamiento directamente a partir de radiografías de tórax, como la segmentación de regiones anatómicas, la derivación de puntos de referencia anatómicos y mediciones diagnósticas, el cálculo de índices diagnósticos y la aplicación de umbrales clínicos. CXReasonBench aprovecha esta pipeline para evaluar si los modelos pueden realizar pasos de razonamiento clínicamente válidos y hasta qué punto pueden aprender de una guía estructurada, permitiendo una evaluación detallada y transparente del razonamiento diagnóstico. El punto de referencia comprende 18,988 pares de preguntas y respuestas en 12 tareas diagnósticas y 1,200 casos, cada uno emparejado con hasta 4 entradas visuales, y admite una evaluación de múltiples rutas y etapas, incluyendo la localización visual mediante la selección de regiones anatómicas y mediciones diagnósticas. Incluso el más fuerte de los 10 LVLMs evaluados tiene dificultades con el razonamiento estructurado y la generalización, a menudo fallando en vincular el conocimiento abstracto con la interpretación visual basada en la anatomía. El código está disponible en https://github.com/ttumyche/CXReasonBench.

English

Recent progress in Large Vision-Language Models (LVLMs) has enabled promising applications in medical tasks, such as report generation and visual question answering. However, existing benchmarks focus mainly on the final diagnostic answer, offering limited insight into whether models engage in clinically meaningful reasoning. To address this, we present CheXStruct and CXReasonBench, a structured pipeline and benchmark built on the publicly available MIMIC-CXR-JPG dataset. CheXStruct automatically derives a sequence of intermediate reasoning steps directly from chest X-rays, such as segmenting anatomical regions, deriving anatomical landmarks and diagnostic measurements, computing diagnostic indices, and applying clinical thresholds. CXReasonBench leverages this pipeline to evaluate whether models can perform clinically valid reasoning steps and to what extent they can learn from structured guidance, enabling fine-grained and transparent assessment of diagnostic reasoning. The benchmark comprises 18,988 QA pairs across 12 diagnostic tasks and 1,200 cases, each paired with up to 4 visual inputs, and supports multi-path, multi-stage evaluation including visual grounding via anatomical region selection and diagnostic measurements. Even the strongest of 10 evaluated LVLMs struggle with structured reasoning and generalization, often failing to link abstract knowledge with anatomically grounded visual interpretation. The code is available at https://github.com/ttumyche/CXReasonBench