RaTEScore: Una Métrica para la Generación de Informes Radiológicos

RaTEScore: A Metric for Radiology Report Generation

June 24, 2024

Autores: Weike Zhao, Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

Resumen

Este artículo presenta una métrica novedosa y consciente de entidades, denominada Evaluación de Informes Radiológicos (Texto) (RaTEScore), para evaluar la calidad de los informes médicos generados por modelos de IA. RaTEScore enfatiza entidades médicas cruciales como resultados diagnósticos y detalles anatómicos, y es robusta frente a sinónimos médicos complejos y sensible a expresiones de negación. Técnicamente, desarrollamos un conjunto de datos exhaustivo de Reconocimiento de Entidades Médicas (NER), RaTE-NER, y entrenamos un modelo NER específicamente para este propósito. Este modelo permite descomponer informes radiológicos complejos en sus entidades médicas constituyentes. La métrica en sí se deriva al comparar la similitud de los embeddings de entidades, obtenidos de un modelo de lenguaje, basados en sus tipos y relevancia para la significación clínica. Nuestras evaluaciones demuestran que RaTEScore se alinea más estrechamente con la preferencia humana que las métricas existentes, validado tanto en puntos de referencia públicos establecidos como en nuestro nuevo punto de referencia propuesto, RaTE-Eval.

English

This paper introduces a novel, entity-aware metric, termed as Radiological Report (Text) Evaluation (RaTEScore), to assess the quality of medical reports generated by AI models. RaTEScore emphasizes crucial medical entities such as diagnostic outcomes and anatomical details, and is robust against complex medical synonyms and sensitive to negation expressions. Technically, we developed a comprehensive medical NER dataset, RaTE-NER, and trained an NER model specifically for this purpose. This model enables the decomposition of complex radiological reports into constituent medical entities. The metric itself is derived by comparing the similarity of entity embeddings, obtained from a language model, based on their types and relevance to clinical significance. Our evaluations demonstrate that RaTEScore aligns more closely with human preference than existing metrics, validated both on established public benchmarks and our newly proposed RaTE-Eval benchmark.