CXReasonBench: Бенчмарк для оценки структурированного диагностического анализа рентгенограмм грудной клетки

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

May 23, 2025

Авторы: Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

cs.AI

Аннотация

Последние достижения в области крупных визуально-языковых моделей (LVLMs) открыли перспективные возможности для применения в медицинских задачах, таких как генерация отчетов и визуальный вопросно-ответный анализ. Однако существующие бенчмарки в основном сосредоточены на итоговом диагностическом ответе, предоставляя ограниченное понимание того, используют ли модели клинически значимые рассуждения. Для решения этой проблемы мы представляем CheXStruct и CXReasonBench — структурированный конвейер и бенчмарк, созданные на основе общедоступного набора данных MIMIC-CXR-JPG. CheXStruct автоматически извлекает последовательность промежуточных шагов рассуждения непосредственно из рентгеновских снимков грудной клетки, таких как сегментация анатомических областей, определение анатомических ориентиров и диагностических измерений, вычисление диагностических индексов и применение клинических порогов. CXReasonBench использует этот конвейер для оценки того, могут ли модели выполнять клинически валидные шаги рассуждения и в какой степени они способны обучаться на основе структурированных указаний, что позволяет проводить детальную и прозрачную оценку диагностических рассуждений. Бенчмарк включает 18 988 пар вопросов и ответов по 12 диагностическим задачам и 1 200 случаев, каждый из которых сопровождается до 4 визуальных входных данных, и поддерживает многопутевую, многоэтапную оценку, включая визуальное закрепление через выбор анатомических областей и диагностические измерения. Даже самые мощные из 10 протестированных LVLMs испытывают трудности со структурированными рассуждениями и обобщением, часто не справляясь с соединением абстрактных знаний с анатомически обоснованной визуальной интерпретацией. Код доступен по адресу https://github.com/ttumyche/CXReasonBench.

English

Recent progress in Large Vision-Language Models (LVLMs) has enabled promising applications in medical tasks, such as report generation and visual question answering. However, existing benchmarks focus mainly on the final diagnostic answer, offering limited insight into whether models engage in clinically meaningful reasoning. To address this, we present CheXStruct and CXReasonBench, a structured pipeline and benchmark built on the publicly available MIMIC-CXR-JPG dataset. CheXStruct automatically derives a sequence of intermediate reasoning steps directly from chest X-rays, such as segmenting anatomical regions, deriving anatomical landmarks and diagnostic measurements, computing diagnostic indices, and applying clinical thresholds. CXReasonBench leverages this pipeline to evaluate whether models can perform clinically valid reasoning steps and to what extent they can learn from structured guidance, enabling fine-grained and transparent assessment of diagnostic reasoning. The benchmark comprises 18,988 QA pairs across 12 diagnostic tasks and 1,200 cases, each paired with up to 4 visual inputs, and supports multi-path, multi-stage evaluation including visual grounding via anatomical region selection and diagnostic measurements. Even the strongest of 10 evaluated LVLMs struggle with structured reasoning and generalization, often failing to link abstract knowledge with anatomically grounded visual interpretation. The code is available at https://github.com/ttumyche/CXReasonBench