EHRCon: Datensatz zur Überprüfung der Konsistenz zwischen unstrukturierten Notizen und strukturierten Tabellen in elektronischen Gesundheitsakten

EHRCon: Dataset for Checking Consistency between Unstructured Notes and Structured Tables in Electronic Health Records

June 24, 2024

Autoren: Yeonsu Kwon, Jiho Kim, Gyubok Lee, Seongsu Bae, Daeun Kyung, Wonchul Cha, Tom Pollard, Alistair Johnson, Edward Choi

cs.AI

Zusammenfassung

Elektronische Patientenakten (EHRs) sind integral für die Speicherung umfassender Patientenakten, die strukturierte Daten (z. B. Medikamente) mit detaillierten klinischen Notizen (z. B. Arztnotizen) kombinieren. Diese Elemente sind entscheidend für eine einfache Datenabfrage und liefern tiefe, kontextbezogene Einblicke in die Patientenversorgung. Allerdings leiden sie oft unter Diskrepanzen aufgrund von unintuitiven EHR-Systemdesigns und menschlichen Fehlern, die ernsthafte Risiken für die Patientensicherheit darstellen. Um dem entgegenzuwirken, haben wir EHRCon entwickelt, einen neuen Datensatz und eine Aufgabe, die speziell darauf ausgelegt sind, die Datenkonsistenz zwischen strukturierten Tabellen und unstrukturierten Notizen in EHRs sicherzustellen. EHRCon wurde in Zusammenarbeit mit Gesundheitsfachleuten unter Verwendung des MIMIC-III EHR-Datensatzes erstellt und umfasst manuelle Annotationen von 3.943 Entitäten in 105 klinischen Notizen, die auf Datenbankeinträge auf Konsistenz überprüft wurden. EHRCon hat zwei Versionen, eine unter Verwendung des ursprünglichen MIMIC-III-Schemas und eine weitere unter Verwendung des OMOP CDM-Schemas, um die Anwendbarkeit und Verallgemeinerbarkeit zu erhöhen. Darüber hinaus stellen wir unter Nutzung der Fähigkeiten großer Sprachmodelle CheckEHR vor, ein neuartiges Framework zur Überprüfung der Konsistenz zwischen klinischen Notizen und Datenbanktabellen. CheckEHR nutzt einen achtschrittigen Prozess und zeigt vielversprechende Ergebnisse sowohl in Few-Shot- als auch in Zero-Shot-Einstellungen. Der Code ist verfügbar unter https://github.com/dustn1259/EHRCon.

English

Electronic Health Records (EHRs) are integral for storing comprehensive patient medical records, combining structured data (e.g., medications) with detailed clinical notes (e.g., physician notes). These elements are essential for straightforward data retrieval and provide deep, contextual insights into patient care. However, they often suffer from discrepancies due to unintuitive EHR system designs and human errors, posing serious risks to patient safety. To address this, we developed EHRCon, a new dataset and task specifically designed to ensure data consistency between structured tables and unstructured notes in EHRs. EHRCon was crafted in collaboration with healthcare professionals using the MIMIC-III EHR dataset, and includes manual annotations of 3,943 entities across 105 clinical notes checked against database entries for consistency. EHRCon has two versions, one using the original MIMIC-III schema, and another using the OMOP CDM schema, in order to increase its applicability and generalizability. Furthermore, leveraging the capabilities of large language models, we introduce CheckEHR, a novel framework for verifying the consistency between clinical notes and database tables. CheckEHR utilizes an eight-stage process and shows promising results in both few-shot and zero-shot settings. The code is available at https://github.com/dustn1259/EHRCon.