Banc d'essai de reconnaissance d'entités cliniques nommées

Named Clinical Entity Recognition Benchmark

October 7, 2024

Auteurs: Wadood M Abdul, Marco AF Pimentel, Muhammad Umar Salman, Tathagata Raha, Clément Christophe, Praveen K Kanithi, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Résumé

Ce rapport technique présente un Banc d'Essai de Reconnaissance d'Entités Cliniques Nommées pour évaluer les modèles linguistiques dans le domaine de la santé, abordant la tâche cruciale de traitement automatique du langage naturel (TALN) consistant à extraire des informations structurées à partir de récits cliniques pour soutenir des applications telles que le codage automatisé, l'identification de cohortes d'essais cliniques et le support à la décision clinique. Le classement fournit une plateforme standardisée pour évaluer divers modèles linguistiques, y compris les architectures encodeur et décodeur, sur leur capacité à identifier et classer des entités cliniques dans plusieurs domaines médicaux. Une collection sélectionnée de jeux de données cliniques disponibles publiquement est utilisée, englobant des entités telles que les maladies, les symptômes, les médicaments, les procédures et les mesures de laboratoire. De manière importante, ces entités sont normalisées selon le Modèle de Données Communes de l'Observational Medical Outcomes Partnership (OMOP), garantissant la cohérence et l'interopérabilité entre différents systèmes de santé et jeux de données, ainsi qu'une évaluation complète de la performance du modèle. La performance des modèles est principalement évaluée en utilisant le score F1, et elle est complétée par divers modes d'évaluation pour fournir des aperçus complets de la performance du modèle. Le rapport inclut également une brève analyse des modèles évalués à ce jour, mettant en évidence les tendances observées et les limitations. En établissant ce cadre de référence, le classement vise à promouvoir la transparence, faciliter les analyses comparatives et stimuler l'innovation dans les tâches de reconnaissance d'entités cliniques, répondant au besoin de méthodes d'évaluation robustes dans le TALN en santé.

English

This technical report introduces a Named Clinical Entity Recognition Benchmark for evaluating language models in healthcare, addressing the crucial natural language processing (NLP) task of extracting structured information from clinical narratives to support applications like automated coding, clinical trial cohort identification, and clinical decision support. The leaderboard provides a standardized platform for assessing diverse language models, including encoder and decoder architectures, on their ability to identify and classify clinical entities across multiple medical domains. A curated collection of openly available clinical datasets is utilized, encompassing entities such as diseases, symptoms, medications, procedures, and laboratory measurements. Importantly, these entities are standardized according to the Observational Medical Outcomes Partnership (OMOP) Common Data Model, ensuring consistency and interoperability across different healthcare systems and datasets, and a comprehensive evaluation of model performance. Performance of models is primarily assessed using the F1-score, and it is complemented by various assessment modes to provide comprehensive insights into model performance. The report also includes a brief analysis of models evaluated to date, highlighting observed trends and limitations. By establishing this benchmarking framework, the leaderboard aims to promote transparency, facilitate comparative analyses, and drive innovation in clinical entity recognition tasks, addressing the need for robust evaluation methods in healthcare NLP.