Lunguage : Un benchmark pour l'interprétation structurée et séquentielle des radiographies thoraciques

Lunguage: A Benchmark for Structured and Sequential Chest X-ray Interpretation

May 27, 2025

Auteurs: Jong Hak Moon, Geon Choi, Paloma Rabaey, Min Gwan Kim, Hyuk Gi Hong, Jung-Oh Lee, Hangyul Yoon, Eun Woo Doe, Jiyoun Kim, Harshita Sharma, Daniel C. Castro, Javier Alvarez-Valle, Edward Choi

cs.AI

Résumé

Les rapports de radiologie transmettent des observations cliniques détaillées et captent le raisonnement diagnostique qui évolue au fil du temps. Cependant, les méthodes d'évaluation existantes se limitent à des contextes de rapport unique et reposent sur des métriques grossières qui ne parviennent pas à saisir la sémantique clinique fine et les dépendances temporelles. Nous présentons LUNGUAGE, un ensemble de données de référence pour la génération structurée de rapports de radiologie, qui prend en charge à la fois l'évaluation de rapports uniques et l'évaluation longitudinale au niveau du patient sur plusieurs études. Il contient 1 473 rapports annotés de radiographies thoraciques, chacun examiné par des experts, et 80 d'entre eux contiennent des annotations longitudinales pour capturer la progression de la maladie et les intervalles entre les études, également examinés par des experts. En utilisant ce benchmark, nous développons un cadre en deux étapes qui transforme les rapports générés en représentations structurées alignées sur un schéma, permettant une interprétation longitudinale. Nous proposons également LUNGUAGESCORE, une métrique interprétable qui compare les sorties structurées au niveau des entités, des relations et des attributs tout en modélisant la cohérence temporelle sur les chronologies des patients. Ces contributions établissent le premier ensemble de données de référence, cadre de structuration et métrique d'évaluation pour les rapports de radiologie séquentiels, avec des résultats empiriques démontrant que LUNGUAGESCORE soutient efficacement l'évaluation des rapports structurés. Le code est disponible à l'adresse : https://github.com/SuperSupermoon/Lunguage

English

Radiology reports convey detailed clinical observations and capture diagnostic reasoning that evolves over time. However, existing evaluation methods are limited to single-report settings and rely on coarse metrics that fail to capture fine-grained clinical semantics and temporal dependencies. We introduce LUNGUAGE,a benchmark dataset for structured radiology report generation that supports both single-report evaluation and longitudinal patient-level assessment across multiple studies. It contains 1,473 annotated chest X-ray reports, each reviewed by experts, and 80 of them contain longitudinal annotations to capture disease progression and inter-study intervals, also reviewed by experts. Using this benchmark, we develop a two-stage framework that transforms generated reports into fine-grained, schema-aligned structured representations, enabling longitudinal interpretation. We also propose LUNGUAGESCORE, an interpretable metric that compares structured outputs at the entity, relation, and attribute level while modeling temporal consistency across patient timelines. These contributions establish the first benchmark dataset, structuring framework, and evaluation metric for sequential radiology reporting, with empirical results demonstrating that LUNGUAGESCORE effectively supports structured report evaluation. The code is available at: https://github.com/SuperSupermoon/Lunguage