RaTEScore: Een Metriek voor het Genereren van Radiologieverslagen
RaTEScore: A Metric for Radiology Report Generation
June 24, 2024
Auteurs: Weike Zhao, Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie
cs.AI
Samenvatting
Dit artikel introduceert een nieuwe, entiteitsbewuste metriek, genaamd Radiological Report (Text) Evaluation (RaTEScore), om de kwaliteit van medische rapporten gegenereerd door AI-modellen te beoordelen. RaTEScore legt de nadruk op cruciale medische entiteiten zoals diagnostische uitkomsten en anatomische details, en is robuust tegen complexe medische synoniemen en gevoelig voor ontkenningsexpressies. Technisch gezien hebben we een uitgebreide medische NER-dataset, RaTE-NER, ontwikkeld en een NER-model specifiek voor dit doel getraind. Dit model maakt het mogelijk om complexe radiologische rapporten te ontleden in samenstellende medische entiteiten. De metriek zelf wordt afgeleid door de gelijkenis van entiteitsembeddingen, verkregen uit een taalmodel, te vergelijken op basis van hun types en relevantie voor klinische betekenis. Onze evaluaties tonen aan dat RaTEScore beter aansluit bij menselijke voorkeuren dan bestaande metrieken, wat is gevalideerd op zowel gevestigde publieke benchmarks als ons nieuw voorgestelde RaTE-Eval benchmark.
English
This paper introduces a novel, entity-aware metric, termed as Radiological
Report (Text) Evaluation (RaTEScore), to assess the quality of medical reports
generated by AI models. RaTEScore emphasizes crucial medical entities such as
diagnostic outcomes and anatomical details, and is robust against complex
medical synonyms and sensitive to negation expressions. Technically, we
developed a comprehensive medical NER dataset, RaTE-NER, and trained an NER
model specifically for this purpose. This model enables the decomposition of
complex radiological reports into constituent medical entities. The metric
itself is derived by comparing the similarity of entity embeddings, obtained
from a language model, based on their types and relevance to clinical
significance. Our evaluations demonstrate that RaTEScore aligns more closely
with human preference than existing metrics, validated both on established
public benchmarks and our newly proposed RaTE-Eval benchmark.