Banco de Pruebas de Reconocimiento de Entidades Clínicas Nombradas

Named Clinical Entity Recognition Benchmark

October 7, 2024

Autores: Wadood M Abdul, Marco AF Pimentel, Muhammad Umar Salman, Tathagata Raha, Clément Christophe, Praveen K Kanithi, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Resumen

Este informe técnico presenta un Referente de Reconocimiento de Entidades Clínicas Nombradas para evaluar modelos de lenguaje en el ámbito de la salud, abordando la crucial tarea de procesamiento del lenguaje natural (PLN) de extraer información estructurada de narrativas clínicas para respaldar aplicaciones como codificación automatizada, identificación de cohortes para ensayos clínicos y soporte a decisiones clínicas. El tablero de líderes proporciona una plataforma estandarizada para evaluar diversos modelos de lenguaje, incluidas arquitecturas codificadoras y decodificadoras, en su capacidad para identificar y clasificar entidades clínicas en múltiples dominios médicos. Se utiliza una colección seleccionada de conjuntos de datos clínicos disponibles públicamente, abarcando entidades como enfermedades, síntomas, medicamentos, procedimientos y mediciones de laboratorio. Es importante destacar que estas entidades se estandarizan de acuerdo con el Modelo de Datos Comunes de la Asociación de Resultados Médicos Observacionales (OMOP), garantizando consistencia e interoperabilidad entre diferentes sistemas y conjuntos de datos de atención médica, y una evaluación exhaustiva del rendimiento del modelo. El rendimiento de los modelos se evalúa principalmente utilizando la puntuación F1, complementada por varios modos de evaluación para proporcionar percepciones completas sobre el rendimiento del modelo. El informe también incluye un breve análisis de los modelos evaluados hasta la fecha, destacando tendencias y limitaciones observadas. Al establecer este marco de referencia para la evaluación, el tablero de líderes tiene como objetivo promover la transparencia, facilitar análisis comparativos y fomentar la innovación en tareas de reconocimiento de entidades clínicas, abordando la necesidad de métodos de evaluación sólidos en el PLN de la salud.

English

This technical report introduces a Named Clinical Entity Recognition Benchmark for evaluating language models in healthcare, addressing the crucial natural language processing (NLP) task of extracting structured information from clinical narratives to support applications like automated coding, clinical trial cohort identification, and clinical decision support. The leaderboard provides a standardized platform for assessing diverse language models, including encoder and decoder architectures, on their ability to identify and classify clinical entities across multiple medical domains. A curated collection of openly available clinical datasets is utilized, encompassing entities such as diseases, symptoms, medications, procedures, and laboratory measurements. Importantly, these entities are standardized according to the Observational Medical Outcomes Partnership (OMOP) Common Data Model, ensuring consistency and interoperability across different healthcare systems and datasets, and a comprehensive evaluation of model performance. Performance of models is primarily assessed using the F1-score, and it is complemented by various assessment modes to provide comprehensive insights into model performance. The report also includes a brief analysis of models evaluated to date, highlighting observed trends and limitations. By establishing this benchmarking framework, the leaderboard aims to promote transparency, facilitate comparative analyses, and drive innovation in clinical entity recognition tasks, addressing the need for robust evaluation methods in healthcare NLP.