EHRCon: Conjunto de datos para verificar la consistencia entre notas no estructuradas y tablas estructuradas en registros electrónicos de salud

EHRCon: Dataset for Checking Consistency between Unstructured Notes and Structured Tables in Electronic Health Records

June 24, 2024

Autores: Yeonsu Kwon, Jiho Kim, Gyubok Lee, Seongsu Bae, Daeun Kyung, Wonchul Cha, Tom Pollard, Alistair Johnson, Edward Choi

cs.AI

Resumen

Los Registros Electrónicos de Salud (EHR, por sus siglas en inglés) son fundamentales para almacenar historiales médicos completos de los pacientes, combinando datos estructurados (por ejemplo, medicamentos) con notas clínicas detalladas (por ejemplo, anotaciones de los médicos). Estos elementos son esenciales para la recuperación directa de datos y proporcionan información contextual profunda sobre la atención al paciente. Sin embargo, a menudo presentan discrepancias debido a diseños poco intuitivos de los sistemas EHR y errores humanos, lo que representa riesgos graves para la seguridad del paciente. Para abordar este problema, desarrollamos EHRCon, un nuevo conjunto de datos y tarea específicamente diseñado para garantizar la consistencia de los datos entre las tablas estructuradas y las notas no estructuradas en los EHR. EHRCon fue creado en colaboración con profesionales de la salud utilizando el conjunto de datos EHR MIMIC-III e incluye anotaciones manuales de 3,943 entidades en 105 notas clínicas verificadas contra entradas de la base de datos para asegurar su consistencia. EHRCon tiene dos versiones, una que utiliza el esquema original de MIMIC-III y otra que emplea el esquema OMOP CDM, con el fin de aumentar su aplicabilidad y generalización. Además, aprovechando las capacidades de los modelos de lenguaje de gran escala, presentamos CheckEHR, un marco novedoso para verificar la consistencia entre las notas clínicas y las tablas de la base de datos. CheckEHR utiliza un proceso de ocho etapas y muestra resultados prometedores tanto en configuraciones de pocos ejemplos (few-shot) como sin ejemplos previos (zero-shot). El código está disponible en https://github.com/dustn1259/EHRCon.

English

Electronic Health Records (EHRs) are integral for storing comprehensive patient medical records, combining structured data (e.g., medications) with detailed clinical notes (e.g., physician notes). These elements are essential for straightforward data retrieval and provide deep, contextual insights into patient care. However, they often suffer from discrepancies due to unintuitive EHR system designs and human errors, posing serious risks to patient safety. To address this, we developed EHRCon, a new dataset and task specifically designed to ensure data consistency between structured tables and unstructured notes in EHRs. EHRCon was crafted in collaboration with healthcare professionals using the MIMIC-III EHR dataset, and includes manual annotations of 3,943 entities across 105 clinical notes checked against database entries for consistency. EHRCon has two versions, one using the original MIMIC-III schema, and another using the OMOP CDM schema, in order to increase its applicability and generalizability. Furthermore, leveraging the capabilities of large language models, we introduce CheckEHR, a novel framework for verifying the consistency between clinical notes and database tables. CheckEHR utilizes an eight-stage process and shows promising results in both few-shot and zero-shot settings. The code is available at https://github.com/dustn1259/EHRCon.