Benchmark de Reconhecimento de Entidades Clínicas Nomeadas

Named Clinical Entity Recognition Benchmark

October 7, 2024

Autores: Wadood M Abdul, Marco AF Pimentel, Muhammad Umar Salman, Tathagata Raha, Clément Christophe, Praveen K Kanithi, Nasir Hayat, Ronnie Rajan, Shadab Khan

cs.AI

Resumo

Este relatório técnico apresenta um Benchmark de Reconhecimento de Entidades Clínicas Nomeadas para avaliar modelos de linguagem na área da saúde, abordando a crucial tarefa de processamento de linguagem natural (PLN) de extrair informações estruturadas de narrativas clínicas para apoiar aplicações como codificação automatizada, identificação de coortes de ensaios clínicos e suporte à decisão clínica. A tabela de classificação fornece uma plataforma padronizada para avaliar diversos modelos de linguagem, incluindo arquiteturas de codificador e decodificador, em sua capacidade de identificar e classificar entidades clínicas em múltiplos domínios médicos. Uma coleção selecionada de conjuntos de dados clínicos disponíveis publicamente é utilizada, abrangendo entidades como doenças, sintomas, medicamentos, procedimentos e medições laboratoriais. Importante ressaltar que essas entidades são padronizadas de acordo com o Modelo de Dados Comuns da Parceria de Resultados Médicos Observacionais (OMOP), garantindo consistência e interoperabilidade entre diferentes sistemas de saúde e conjuntos de dados, e uma avaliação abrangente do desempenho do modelo. O desempenho dos modelos é avaliado principalmente usando o escore F1 e é complementado por vários modos de avaliação para fornecer insights abrangentes sobre o desempenho do modelo. O relatório também inclui uma breve análise dos modelos avaliados até o momento, destacando tendências observadas e limitações. Ao estabelecer este framework de benchmarking, a tabela de classificação tem como objetivo promover transparência, facilitar análises comparativas e impulsionar a inovação em tarefas de reconhecimento de entidades clínicas, abordando a necessidade de métodos de avaliação robustos em PLN na área da saúde.

English

This technical report introduces a Named Clinical Entity Recognition Benchmark for evaluating language models in healthcare, addressing the crucial natural language processing (NLP) task of extracting structured information from clinical narratives to support applications like automated coding, clinical trial cohort identification, and clinical decision support. The leaderboard provides a standardized platform for assessing diverse language models, including encoder and decoder architectures, on their ability to identify and classify clinical entities across multiple medical domains. A curated collection of openly available clinical datasets is utilized, encompassing entities such as diseases, symptoms, medications, procedures, and laboratory measurements. Importantly, these entities are standardized according to the Observational Medical Outcomes Partnership (OMOP) Common Data Model, ensuring consistency and interoperability across different healthcare systems and datasets, and a comprehensive evaluation of model performance. Performance of models is primarily assessed using the F1-score, and it is complemented by various assessment modes to provide comprehensive insights into model performance. The report also includes a brief analysis of models evaluated to date, highlighting observed trends and limitations. By establishing this benchmarking framework, the leaderboard aims to promote transparency, facilitate comparative analyses, and drive innovation in clinical entity recognition tasks, addressing the need for robust evaluation methods in healthcare NLP.