Lunguage: Um Benchmark para Interpretação Estruturada e Sequencial de Radiografias Torácicas

Resumo

Relatórios de radiologia transmitem observações clínicas detalhadas e capturam o raciocínio diagnóstico que evolui ao longo do tempo. No entanto, os métodos de avaliação existentes são limitados a configurações de relatório único e dependem de métricas grosseiras que não conseguem capturar a semântica clínica refinada e as dependências temporais. Apresentamos o LUNGUAGE, um conjunto de dados de referência para a geração estruturada de relatórios de radiologia que suporta tanto a avaliação de relatório único quanto a avaliação longitudinal em nível de paciente em múltiplos estudos. Ele contém 1.473 relatórios de raio-X de tórax anotados, cada um revisado por especialistas, e 80 deles contêm anotações longitudinais para capturar a progressão da doença e os intervalos entre estudos, também revisados por especialistas. Usando esse benchmark, desenvolvemos uma estrutura de duas etapas que transforma relatórios gerados em representações estruturadas alinhadas a esquemas refinados, permitindo interpretação longitudinal. Também propomos o LUNGUAGESCORE, uma métrica interpretável que compara saídas estruturadas no nível de entidade, relação e atributo, enquanto modela a consistência temporal ao longo das linhas do tempo do paciente. Essas contribuições estabelecem o primeiro conjunto de dados de referência, estrutura de organização e métrica de avaliação para relatórios de radiologia sequencial, com resultados empíricos demonstrando que o LUNGUAGESCORE suporta efetivamente a avaliação de relatórios estruturados. O código está disponível em: https://github.com/SuperSupermoon/Lunguage

English

Radiology reports convey detailed clinical observations and capture diagnostic reasoning that evolves over time. However, existing evaluation methods are limited to single-report settings and rely on coarse metrics that fail to capture fine-grained clinical semantics and temporal dependencies. We introduce LUNGUAGE,a benchmark dataset for structured radiology report generation that supports both single-report evaluation and longitudinal patient-level assessment across multiple studies. It contains 1,473 annotated chest X-ray reports, each reviewed by experts, and 80 of them contain longitudinal annotations to capture disease progression and inter-study intervals, also reviewed by experts. Using this benchmark, we develop a two-stage framework that transforms generated reports into fine-grained, schema-aligned structured representations, enabling longitudinal interpretation. We also propose LUNGUAGESCORE, an interpretable metric that compares structured outputs at the entity, relation, and attribute level while modeling temporal consistency across patient timelines. These contributions establish the first benchmark dataset, structuring framework, and evaluation metric for sequential radiology reporting, with empirical results demonstrating that LUNGUAGESCORE effectively supports structured report evaluation. The code is available at: https://github.com/SuperSupermoon/Lunguage

Lunguage: Um Benchmark para Interpretação Estruturada e Sequencial de Radiografias Torácicas

Lunguage: A Benchmark for Structured and Sequential Chest X-ray Interpretation

Resumo

Support