Benannter klinischer Entitätserkennungs-Benchmark

Named Clinical Entity Recognition Benchmark

October 7, 2024

Autoren: Wadood M Abdul, Marco AF Pimentel, Muhammad Umar Salman, Tathagata Raha, Clément Christophe, Praveen K Kanithi, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Zusammenfassung

Dieser technische Bericht stellt einen Benchmark für die Erkennung benannter klinischer Entitäten vor, um Sprachmodelle im Gesundheitswesen zu bewerten. Dabei wird die entscheidende Aufgabe der natürlichen Sprachverarbeitung (NLP) behandelt, strukturierte Informationen aus klinischen Erzählungen zu extrahieren, um Anwendungen wie automatisierte Kodierung, Identifizierung von klinischen Studiengruppen und klinische Entscheidungsunterstützung zu unterstützen. Die Rangliste bietet eine standardisierte Plattform zur Bewertung verschiedener Sprachmodelle, einschließlich Encoder- und Decoder-Architekturen, hinsichtlich ihrer Fähigkeit, klinische Entitäten in verschiedenen medizinischen Bereichen zu identifizieren und zu klassifizieren. Es wird eine sorgfältig zusammengestellte Sammlung von frei verfügbaren klinischen Datensätzen verwendet, die Entitäten wie Krankheiten, Symptome, Medikamente, Verfahren und Laboruntersuchungen umfassen. Diese Entitäten sind gemäß dem Common Data Model der Observational Medical Outcomes Partnership (OMOP) standardisiert, um Konsistenz und Interoperabilität zwischen verschiedenen Gesundheitssystemen und Datensätzen sowie eine umfassende Bewertung der Modellleistung sicherzustellen. Die Leistung der Modelle wird hauptsächlich anhand des F1-Scores bewertet und durch verschiedene Bewertungsmodi ergänzt, um umfassende Einblicke in die Modellleistung zu bieten. Der Bericht enthält auch eine kurze Analyse der bisher bewerteten Modelle, die beobachtete Trends und Einschränkungen hervorhebt. Durch die Einführung dieses Benchmarking-Rahmens zielt die Rangliste darauf ab, Transparenz zu fördern, vergleichende Analysen zu erleichtern und Innovationen in den Aufgaben der klinischen Entitätenerkennung voranzutreiben, um den Bedarf an robusten Bewertungsmethoden in der NLP im Gesundheitswesen zu decken.

English

This technical report introduces a Named Clinical Entity Recognition Benchmark for evaluating language models in healthcare, addressing the crucial natural language processing (NLP) task of extracting structured information from clinical narratives to support applications like automated coding, clinical trial cohort identification, and clinical decision support. The leaderboard provides a standardized platform for assessing diverse language models, including encoder and decoder architectures, on their ability to identify and classify clinical entities across multiple medical domains. A curated collection of openly available clinical datasets is utilized, encompassing entities such as diseases, symptoms, medications, procedures, and laboratory measurements. Importantly, these entities are standardized according to the Observational Medical Outcomes Partnership (OMOP) Common Data Model, ensuring consistency and interoperability across different healthcare systems and datasets, and a comprehensive evaluation of model performance. Performance of models is primarily assessed using the F1-score, and it is complemented by various assessment modes to provide comprehensive insights into model performance. The report also includes a brief analysis of models evaluated to date, highlighting observed trends and limitations. By establishing this benchmarking framework, the leaderboard aims to promote transparency, facilitate comparative analyses, and drive innovation in clinical entity recognition tasks, addressing the need for robust evaluation methods in healthcare NLP.