EHRCon: Dataset per la Verifica della Coerenza tra Note Non Strutturate e Tabelle Strutturate nei Registri Elettronici Sanitari

EHRCon: Dataset for Checking Consistency between Unstructured Notes and Structured Tables in Electronic Health Records

June 24, 2024

Autori: Yeonsu Kwon, Jiho Kim, Gyubok Lee, Seongsu Bae, Daeun Kyung, Wonchul Cha, Tom Pollard, Alistair Johnson, Edward Choi

cs.AI

Abstract

I Registri Elettronici Sanitari (EHR) sono fondamentali per l'archiviazione completa delle cartelle cliniche dei pazienti, combinando dati strutturati (ad esempio, farmaci) con note cliniche dettagliate (ad esempio, annotazioni dei medici). Questi elementi sono essenziali per un recupero diretto dei dati e forniscono approfondimenti contestuali sulla cura del paziente. Tuttavia, spesso presentano discrepanze dovute a design non intuitivi dei sistemi EHR e a errori umani, rappresentando seri rischi per la sicurezza dei pazienti. Per affrontare questo problema, abbiamo sviluppato EHRCon, un nuovo dataset e task specificamente progettato per garantire la coerenza dei dati tra tabelle strutturate e note non strutturate negli EHR. EHRCon è stato creato in collaborazione con professionisti sanitari utilizzando il dataset EHR MIMIC-III e include annotazioni manuali di 3.943 entità su 105 note cliniche verificate rispetto alle voci del database per coerenza. EHRCon ha due versioni, una che utilizza lo schema originale di MIMIC-III e un'altra che utilizza lo schema OMOP CDM, al fine di aumentarne l'applicabilità e la generalizzabilità. Inoltre, sfruttando le capacità dei modelli linguistici di grandi dimensioni, introduciamo CheckEHR, un nuovo framework per verificare la coerenza tra note cliniche e tabelle del database. CheckEHR utilizza un processo in otto fasi e mostra risultati promettenti sia in contesti few-shot che zero-shot. Il codice è disponibile all'indirizzo https://github.com/dustn1259/EHRCon.

English

Electronic Health Records (EHRs) are integral for storing comprehensive patient medical records, combining structured data (e.g., medications) with detailed clinical notes (e.g., physician notes). These elements are essential for straightforward data retrieval and provide deep, contextual insights into patient care. However, they often suffer from discrepancies due to unintuitive EHR system designs and human errors, posing serious risks to patient safety. To address this, we developed EHRCon, a new dataset and task specifically designed to ensure data consistency between structured tables and unstructured notes in EHRs. EHRCon was crafted in collaboration with healthcare professionals using the MIMIC-III EHR dataset, and includes manual annotations of 3,943 entities across 105 clinical notes checked against database entries for consistency. EHRCon has two versions, one using the original MIMIC-III schema, and another using the OMOP CDM schema, in order to increase its applicability and generalizability. Furthermore, leveraging the capabilities of large language models, we introduce CheckEHR, a novel framework for verifying the consistency between clinical notes and database tables. CheckEHR utilizes an eight-stage process and shows promising results in both few-shot and zero-shot settings. The code is available at https://github.com/dustn1259/EHRCon.