EHRCon: Dataset voor het controleren van consistentie tussen ongestructureerde notities en gestructureerde tabellen in elektronische patiëntendossiers

EHRCon: Dataset for Checking Consistency between Unstructured Notes and Structured Tables in Electronic Health Records

June 24, 2024

Auteurs: Yeonsu Kwon, Jiho Kim, Gyubok Lee, Seongsu Bae, Daeun Kyung, Wonchul Cha, Tom Pollard, Alistair Johnson, Edward Choi

cs.AI

Samenvatting

Elektronische Patiëntendossiers (EHRs) zijn essentieel voor het opslaan van uitgebreide medische dossiers van patiënten, waarbij gestructureerde gegevens (bijvoorbeeld medicatie) worden gecombineerd met gedetailleerde klinische notities (bijvoorbeeld artsennotities). Deze elementen zijn cruciaal voor eenvoudige gegevensopvraging en bieden diepgaande, contextuele inzichten in de patiëntenzorg. Ze lijden echter vaak aan discrepanties als gevolg van onintuïtieve EHR-systeemontwerpen en menselijke fouten, wat ernstige risico's voor de patiëntveiligheid met zich meebrengt. Om dit aan te pakken, hebben we EHRCon ontwikkeld, een nieuwe dataset en taak die specifiek is ontworpen om de consistentie van gegevens tussen gestructureerde tabellen en ongestructureerde notities in EHRs te waarborgen. EHRCon is in samenwerking met zorgprofessionals gemaakt met behulp van de MIMIC-III EHR-dataset, en bevat handmatige annotaties van 3.943 entiteiten in 105 klinische notities die zijn gecontroleerd op consistentie met databasevermeldingen. EHRCon heeft twee versies, één die gebruikmaakt van het originele MIMIC-III-schema, en een andere die het OMOP CDM-schema gebruikt, om de toepasbaarheid en generaliseerbaarheid te vergroten. Bovendien introduceren we, gebruikmakend van de mogelijkheden van grote taalmodellen, CheckEHR, een nieuw raamwerk voor het verifiëren van de consistentie tussen klinische notities en databasetabellen. CheckEHR maakt gebruik van een achtstappenproces en laat veelbelovende resultaten zien in zowel few-shot als zero-shot instellingen. De code is beschikbaar op https://github.com/dustn1259/EHRCon.

English

Electronic Health Records (EHRs) are integral for storing comprehensive patient medical records, combining structured data (e.g., medications) with detailed clinical notes (e.g., physician notes). These elements are essential for straightforward data retrieval and provide deep, contextual insights into patient care. However, they often suffer from discrepancies due to unintuitive EHR system designs and human errors, posing serious risks to patient safety. To address this, we developed EHRCon, a new dataset and task specifically designed to ensure data consistency between structured tables and unstructured notes in EHRs. EHRCon was crafted in collaboration with healthcare professionals using the MIMIC-III EHR dataset, and includes manual annotations of 3,943 entities across 105 clinical notes checked against database entries for consistency. EHRCon has two versions, one using the original MIMIC-III schema, and another using the OMOP CDM schema, in order to increase its applicability and generalizability. Furthermore, leveraging the capabilities of large language models, we introduce CheckEHR, a novel framework for verifying the consistency between clinical notes and database tables. CheckEHR utilizes an eight-stage process and shows promising results in both few-shot and zero-shot settings. The code is available at https://github.com/dustn1259/EHRCon.