Lunguage: Бенчмарк для структурированной и последовательной интерпретации рентгенограмм грудной клетки

Lunguage: A Benchmark for Structured and Sequential Chest X-ray Interpretation

May 27, 2025

Авторы: Jong Hak Moon, Geon Choi, Paloma Rabaey, Min Gwan Kim, Hyuk Gi Hong, Jung-Oh Lee, Hangyul Yoon, Eun Woo Doe, Jiyoun Kim, Harshita Sharma, Daniel C. Castro, Javier Alvarez-Valle, Edward Choi

cs.AI

Аннотация

Рентгенологические заключения содержат детальные клинические наблюдения и отражают диагностические рассуждения, которые развиваются с течением времени. Однако существующие методы оценки ограничиваются анализом отдельных заключений и опираются на грубые метрики, которые не способны уловить тонкую клиническую семантику и временные зависимости. Мы представляем LUNGUAGE — эталонный набор данных для структурированной генерации рентгенологических заключений, который поддерживает как оценку отдельных отчетов, так и продольный анализ на уровне пациента с учетом множественных исследований. Набор включает 1 473 аннотированных рентгенологических заключения грудной клетки, каждое из которых проверено экспертами, причем 80 из них содержат продольные аннотации, отражающие прогрессирование заболевания и интервалы между исследованиями, также проверенные экспертами. Используя этот эталонный набор, мы разрабатываем двухэтапную структуру, которая преобразует сгенерированные отчеты в детализированные структурированные представления, согласованные со схемой, что позволяет проводить продольный анализ. Мы также предлагаем LUNGUAGESCORE — интерпретируемую метрику, которая сравнивает структурированные результаты на уровне сущностей, отношений и атрибутов, учитывая временную согласованность в рамках временных линий пациентов. Эти вклады формируют первый эталонный набор данных, структурирующую систему и метрику оценки для последовательного рентгенологического отчетности, причем эмпирические результаты демонстрируют, что LUNGUAGESCORE эффективно поддерживает оценку структурированных отчетов. Код доступен по адресу: https://github.com/SuperSupermoon/Lunguage.

English

Radiology reports convey detailed clinical observations and capture diagnostic reasoning that evolves over time. However, existing evaluation methods are limited to single-report settings and rely on coarse metrics that fail to capture fine-grained clinical semantics and temporal dependencies. We introduce LUNGUAGE,a benchmark dataset for structured radiology report generation that supports both single-report evaluation and longitudinal patient-level assessment across multiple studies. It contains 1,473 annotated chest X-ray reports, each reviewed by experts, and 80 of them contain longitudinal annotations to capture disease progression and inter-study intervals, also reviewed by experts. Using this benchmark, we develop a two-stage framework that transforms generated reports into fine-grained, schema-aligned structured representations, enabling longitudinal interpretation. We also propose LUNGUAGESCORE, an interpretable metric that compares structured outputs at the entity, relation, and attribute level while modeling temporal consistency across patient timelines. These contributions establish the first benchmark dataset, structuring framework, and evaluation metric for sequential radiology reporting, with empirical results demonstrating that LUNGUAGESCORE effectively supports structured report evaluation. The code is available at: https://github.com/SuperSupermoon/Lunguage