Lunguage: Ein Benchmark für strukturierte und sequenzielle Interpretation von Röntgenaufnahmen des Brustkorbs

Lunguage: A Benchmark for Structured and Sequential Chest X-ray Interpretation

May 27, 2025

Autoren: Jong Hak Moon, Geon Choi, Paloma Rabaey, Min Gwan Kim, Hyuk Gi Hong, Jung-Oh Lee, Hangyul Yoon, Eun Woo Doe, Jiyoun Kim, Harshita Sharma, Daniel C. Castro, Javier Alvarez-Valle, Edward Choi

cs.AI

Zusammenfassung

Radiologieberichte vermitteln detaillierte klinische Beobachtungen und erfassen diagnostische Schlussfolgerungen, die sich im Laufe der Zeit entwickeln. Bisherige Evaluierungsmethoden beschränken sich jedoch auf Einzelberichte und verwenden grobe Metriken, die fein abgestufte klinische Semantik und zeitliche Abhängigkeiten nicht erfassen können. Wir stellen LUNGUAGE vor, einen Benchmark-Datensatz für die strukturierte Generierung von Radiologieberichten, der sowohl die Bewertung einzelner Berichte als auch die longitudinale Patientenebene über mehrere Studien hinweg unterstützt. Der Datensatz enthält 1.473 annotierte Röntgenaufnahmen des Brustkorbs, die jeweils von Experten überprüft wurden, sowie 80 Berichte mit longitudinalen Annotationen, die den Krankheitsverlauf und die Intervalle zwischen den Studien erfassen und ebenfalls von Experten geprüft wurden. Mit diesem Benchmark entwickeln wir ein zweistufiges Framework, das generierte Berichte in fein abgestufte, schema-konforme strukturierte Darstellungen transformiert und so eine longitudinale Interpretation ermöglicht. Wir schlagen außerdem LUNGUAGESCORE vor, eine interpretierbare Metrik, die strukturierte Ausgaben auf der Ebene von Entitäten, Relationen und Attributen vergleicht und dabei die zeitliche Konsistenz über Patientenzeitlinien hinweg modelliert. Diese Beiträge etablieren den ersten Benchmark-Datensatz, ein Strukturierungsframework und eine Evaluierungsmetrik für sequenzielle Radiologieberichte, wobei empirische Ergebnisse zeigen, dass LUNGUAGESCORE die strukturierte Berichtsbewertung effektiv unterstützt. Der Code ist verfügbar unter: https://github.com/SuperSupermoon/Lunguage

English

Radiology reports convey detailed clinical observations and capture diagnostic reasoning that evolves over time. However, existing evaluation methods are limited to single-report settings and rely on coarse metrics that fail to capture fine-grained clinical semantics and temporal dependencies. We introduce LUNGUAGE,a benchmark dataset for structured radiology report generation that supports both single-report evaluation and longitudinal patient-level assessment across multiple studies. It contains 1,473 annotated chest X-ray reports, each reviewed by experts, and 80 of them contain longitudinal annotations to capture disease progression and inter-study intervals, also reviewed by experts. Using this benchmark, we develop a two-stage framework that transforms generated reports into fine-grained, schema-aligned structured representations, enabling longitudinal interpretation. We also propose LUNGUAGESCORE, an interpretable metric that compares structured outputs at the entity, relation, and attribute level while modeling temporal consistency across patient timelines. These contributions establish the first benchmark dataset, structuring framework, and evaluation metric for sequential radiology reporting, with empirical results demonstrating that LUNGUAGESCORE effectively supports structured report evaluation. The code is available at: https://github.com/SuperSupermoon/Lunguage