Benchmark di Riconoscimento di Entità Cliniche Nominate

Abstract

Questo rapporto tecnico introduce un Benchmark per il Riconoscimento di Entità Cliniche Nominato per valutare i modelli linguistici nel settore sanitario, affrontando l'importante compito di elaborazione del linguaggio naturale (NLP) di estrarre informazioni strutturate da narrazioni cliniche per supportare applicazioni come la codifica automatizzata, l'identificazione di coorti per studi clinici e il supporto alle decisioni cliniche. Il leaderboard fornisce una piattaforma standardizzata per valutare diversi modelli linguistici, inclusi le architetture encoder e decoder, sulla loro capacità di identificare e classificare entità cliniche in diversi domini medici. Viene utilizzata una raccolta selezionata di set di dati clinici disponibili pubblicamente, che comprendono entità come malattie, sintomi, farmaci, procedure e misurazioni di laboratorio. È importante notare che queste entità sono standardizzate secondo il Modello di Dati Comuni dell'Observational Medical Outcomes Partnership (OMOP), garantendo coerenza e interoperabilità tra diversi sistemi sanitari e set di dati, e una valutazione completa delle prestazioni del modello. Le prestazioni dei modelli sono valutate principalmente utilizzando l'F1-score, integrato da vari modi di valutazione per fornire approfondimenti completi sulle prestazioni del modello. Il rapporto include anche un'analisi breve dei modelli valutati fino a oggi, evidenziando tendenze e limitazioni osservate. Attraverso l'istituzione di questo quadro di riferimento per il benchmarking, il leaderboard mira a promuovere la trasparenza, facilitare analisi comparative e stimolare l'innovazione nei compiti di riconoscimento di entità cliniche, affrontando la necessità di metodi di valutazione robusti nell'NLP sanitario.

English

This technical report introduces a Named Clinical Entity Recognition Benchmark for evaluating language models in healthcare, addressing the crucial natural language processing (NLP) task of extracting structured information from clinical narratives to support applications like automated coding, clinical trial cohort identification, and clinical decision support. The leaderboard provides a standardized platform for assessing diverse language models, including encoder and decoder architectures, on their ability to identify and classify clinical entities across multiple medical domains. A curated collection of openly available clinical datasets is utilized, encompassing entities such as diseases, symptoms, medications, procedures, and laboratory measurements. Importantly, these entities are standardized according to the Observational Medical Outcomes Partnership (OMOP) Common Data Model, ensuring consistency and interoperability across different healthcare systems and datasets, and a comprehensive evaluation of model performance. Performance of models is primarily assessed using the F1-score, and it is complemented by various assessment modes to provide comprehensive insights into model performance. The report also includes a brief analysis of models evaluated to date, highlighting observed trends and limitations. By establishing this benchmarking framework, the leaderboard aims to promote transparency, facilitate comparative analyses, and drive innovation in clinical entity recognition tasks, addressing the need for robust evaluation methods in healthcare NLP.