Genoemde Klinische Entiteit Herkenningsbenchmark

Named Clinical Entity Recognition Benchmark

October 7, 2024

Auteurs: Wadood M Abdul, Marco AF Pimentel, Muhammad Umar Salman, Tathagata Raha, Clément Christophe, Praveen K Kanithi, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Samenvatting

Deze technische rapport introduceert een Benchmark voor het herkennen van Genoemde Klinische Entiteiten om taalmodellen in de gezondheidszorg te evalueren, waarbij de cruciale natuurlijke taalverwerkingstaak van het extraheren van gestructureerde informatie uit klinische verhalen wordt aangepakt om toepassingen zoals geautomatiseerde codering, identificatie van klinische proefcohorten en klinische beslissingsondersteuning te ondersteunen. De ranglijst biedt een gestandaardiseerd platform voor het beoordelen van diverse taalmodellen, waaronder encoder- en decoderarchitecturen, op hun vermogen om klinische entiteiten te identificeren en classificeren over meerdere medische domeinen. Er wordt gebruik gemaakt van een zorgvuldig samengestelde verzameling openlijk beschikbare klinische datasets, die entiteiten omvatten zoals ziekten, symptomen, medicijnen, procedures en laboratoriummetingen. Belangrijk is dat deze entiteiten gestandaardiseerd zijn volgens het Observational Medical Outcomes Partnership (OMOP) Common Data Model, wat consistentie en interoperabiliteit garandeert tussen verschillende gezondheidssystemen en datasets, en een uitgebreide evaluatie van modelprestaties. De prestaties van modellen worden voornamelijk beoordeeld aan de hand van de F1-score, en dit wordt aangevuld met verschillende beoordelingsmodi om uitgebreide inzichten te bieden in de modelprestaties. Het rapport bevat ook een beknopte analyse van tot nu toe geëvalueerde modellen, waarbij waargenomen trends en beperkingen worden benadrukt. Door dit benchmarkingkader op te zetten, streeft de ranglijst ernaar transparantie te bevorderen, vergelijkende analyses te vergemakkelijken en innovatie te stimuleren in taken voor het herkennen van klinische entiteiten, waarbij wordt ingegaan op de behoefte aan robuuste evaluatiemethoden in de gezondheidszorg op het gebied van natuurlijke taalverwerking.

English

This technical report introduces a Named Clinical Entity Recognition Benchmark for evaluating language models in healthcare, addressing the crucial natural language processing (NLP) task of extracting structured information from clinical narratives to support applications like automated coding, clinical trial cohort identification, and clinical decision support. The leaderboard provides a standardized platform for assessing diverse language models, including encoder and decoder architectures, on their ability to identify and classify clinical entities across multiple medical domains. A curated collection of openly available clinical datasets is utilized, encompassing entities such as diseases, symptoms, medications, procedures, and laboratory measurements. Importantly, these entities are standardized according to the Observational Medical Outcomes Partnership (OMOP) Common Data Model, ensuring consistency and interoperability across different healthcare systems and datasets, and a comprehensive evaluation of model performance. Performance of models is primarily assessed using the F1-score, and it is complemented by various assessment modes to provide comprehensive insights into model performance. The report also includes a brief analysis of models evaluated to date, highlighting observed trends and limitations. By establishing this benchmarking framework, the leaderboard aims to promote transparency, facilitate comparative analyses, and drive innovation in clinical entity recognition tasks, addressing the need for robust evaluation methods in healthcare NLP.