EHRCon: Conjunto de Dados para Verificação de Consistência entre Notas Não Estruturadas e Tabelas Estruturadas em Registros Eletrônicos de Saúde

EHRCon: Dataset for Checking Consistency between Unstructured Notes and Structured Tables in Electronic Health Records

June 24, 2024

Autores: Yeonsu Kwon, Jiho Kim, Gyubok Lee, Seongsu Bae, Daeun Kyung, Wonchul Cha, Tom Pollard, Alistair Johnson, Edward Choi

cs.AI

Resumo

Registos Eletrónicos de Saúde (EHRs) são essenciais para armazenar registos médicos abrangentes de pacientes, combinando dados estruturados (por exemplo, medicamentos) com notas clínicas detalhadas (por exemplo, notas de médicos). Estes elementos são fundamentais para a recuperação direta de dados e fornecem insights contextuais profundos sobre o cuidado do paciente. No entanto, frequentemente sofrem de discrepâncias devido a designs de sistemas EHR pouco intuitivos e erros humanos, representando sérios riscos para a segurança do paciente. Para lidar com isso, desenvolvemos o EHRCon, um novo conjunto de dados e tarefa especificamente projetados para garantir a consistência de dados entre tabelas estruturadas e notas não estruturadas nos EHRs. O EHRCon foi elaborado em colaboração com profissionais de saúde usando o conjunto de dados EHR MIMIC-III e inclui anotações manuais de 3.943 entidades em 105 notas clínicas verificadas em relação às entradas da base de dados para consistência. O EHRCon possui duas versões, uma utilizando o esquema original do MIMIC-III e outra utilizando o esquema OMOP CDM, a fim de aumentar sua aplicabilidade e generalizabilidade. Além disso, aproveitando as capacidades de grandes modelos de linguagem, introduzimos o CheckEHR, um novo framework para verificar a consistência entre notas clínicas e tabelas de base de dados. O CheckEHR utiliza um processo de oito etapas e apresenta resultados promissores tanto em cenários de poucas amostras quanto de nenhuma amostra. O código está disponível em https://github.com/dustn1259/EHRCon.

English

Electronic Health Records (EHRs) are integral for storing comprehensive patient medical records, combining structured data (e.g., medications) with detailed clinical notes (e.g., physician notes). These elements are essential for straightforward data retrieval and provide deep, contextual insights into patient care. However, they often suffer from discrepancies due to unintuitive EHR system designs and human errors, posing serious risks to patient safety. To address this, we developed EHRCon, a new dataset and task specifically designed to ensure data consistency between structured tables and unstructured notes in EHRs. EHRCon was crafted in collaboration with healthcare professionals using the MIMIC-III EHR dataset, and includes manual annotations of 3,943 entities across 105 clinical notes checked against database entries for consistency. EHRCon has two versions, one using the original MIMIC-III schema, and another using the OMOP CDM schema, in order to increase its applicability and generalizability. Furthermore, leveraging the capabilities of large language models, we introduce CheckEHR, a novel framework for verifying the consistency between clinical notes and database tables. CheckEHR utilizes an eight-stage process and shows promising results in both few-shot and zero-shot settings. The code is available at https://github.com/dustn1259/EHRCon.