CXReasonBench: Um Benchmark para Avaliação de Raciocínio Diagnóstico Estruturado em Radiografias Torácicas

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

May 23, 2025

Autores: Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

cs.AI

Resumo

Os avanços recentes em Modelos de Grande Escala de Visão e Linguagem (LVLMs, na sigla em inglês) têm possibilitado aplicações promissoras em tarefas médicas, como a geração de relatórios e a resposta a perguntas visuais. No entanto, os benchmarks existentes focam principalmente na resposta diagnóstica final, oferecendo insights limitados sobre se os modelos realizam raciocínios clinicamente significativos. Para abordar essa lacuna, apresentamos o CheXStruct e o CXReasonBench, um pipeline estruturado e um benchmark construídos com base no conjunto de dados MIMIC-CXR-JPG, disponível publicamente. O CheXStruct deriva automaticamente uma sequência de etapas intermediárias de raciocínio diretamente a partir de radiografias de tórax, como a segmentação de regiões anatômicas, a identificação de marcos anatômicos e medições diagnósticas, o cálculo de índices diagnósticos e a aplicação de limiares clínicos. O CXReasonBench utiliza esse pipeline para avaliar se os modelos são capazes de realizar etapas de raciocínio clinicamente válidas e até que ponto podem aprender com orientações estruturadas, permitindo uma avaliação detalhada e transparente do raciocínio diagnóstico. O benchmark compreende 18.988 pares de perguntas e respostas em 12 tarefas diagnósticas e 1.200 casos, cada um associado a até 4 entradas visuais, e suporta avaliações multipasso e multietapa, incluindo o enraizamento visual por meio da seleção de regiões anatômicas e medições diagnósticas. Mesmo os mais robustos entre os 10 LVLMs avaliados enfrentam dificuldades com o raciocínio estruturado e a generalização, frequentemente falhando em conectar conhecimento abstrato com interpretações visualmente fundamentadas na anatomia. O código está disponível em https://github.com/ttumyche/CXReasonBench.

English

Recent progress in Large Vision-Language Models (LVLMs) has enabled promising applications in medical tasks, such as report generation and visual question answering. However, existing benchmarks focus mainly on the final diagnostic answer, offering limited insight into whether models engage in clinically meaningful reasoning. To address this, we present CheXStruct and CXReasonBench, a structured pipeline and benchmark built on the publicly available MIMIC-CXR-JPG dataset. CheXStruct automatically derives a sequence of intermediate reasoning steps directly from chest X-rays, such as segmenting anatomical regions, deriving anatomical landmarks and diagnostic measurements, computing diagnostic indices, and applying clinical thresholds. CXReasonBench leverages this pipeline to evaluate whether models can perform clinically valid reasoning steps and to what extent they can learn from structured guidance, enabling fine-grained and transparent assessment of diagnostic reasoning. The benchmark comprises 18,988 QA pairs across 12 diagnostic tasks and 1,200 cases, each paired with up to 4 visual inputs, and supports multi-path, multi-stage evaluation including visual grounding via anatomical region selection and diagnostic measurements. Even the strongest of 10 evaluated LVLMs struggle with structured reasoning and generalization, often failing to link abstract knowledge with anatomically grounded visual interpretation. The code is available at https://github.com/ttumyche/CXReasonBench