EHRCon: Набор данных для проверки согласованности между неструктурированными заметками и структурированными таблицами в электронных медицинских записях

EHRCon: Dataset for Checking Consistency between Unstructured Notes and Structured Tables in Electronic Health Records

June 24, 2024

Авторы: Yeonsu Kwon, Jiho Kim, Gyubok Lee, Seongsu Bae, Daeun Kyung, Wonchul Cha, Tom Pollard, Alistair Johnson, Edward Choi

cs.AI

Аннотация

Электронные медицинские записи (ЭМР) являются неотъемлемыми для хранения полных медицинских записей пациентов, объединяя структурированные данные (например, медикаменты) с подробными клиническими заметками (например, заметками врачей). Эти элементы необходимы для простого извлечения данных и предоставления глубоких контекстуальных идей о медицинском уходе для пациента. Однако они часто страдают от расхождений из-за неинтуитивного дизайна системы ЭМР и человеческих ошибок, что представляет серьезные риски для безопасности пациентов. Для решения этой проблемы мы разработали EHRCon, новый набор данных и задачу, специально разработанные для обеспечения согласованности данных между структурированными таблицами и неструктурированными заметками в ЭМР. EHRCon был создан в сотрудничестве с медицинскими специалистами с использованием набора данных ЭМР MIMIC-III и включает в себя ручные аннотации 3 943 сущностей в 105 клинических заметках, проверенных на соответствие записям в базе данных. EHRCon имеет две версии: одну, использующую оригинальную схему MIMIC-III, и другую, использующую схему OMOP CDM, чтобы увеличить ее применимость и обобщаемость. Более того, используя возможности больших языковых моделей, мы представляем CheckEHR, новую структуру для проверки согласованности между клиническими заметками и таблицами базы данных. CheckEHR использует восьмиступенчатый процесс и показывает многообещающие результаты как в настройках с небольшим количеством данных, так и в настройках с нулевым количеством данных. Код доступен по ссылке https://github.com/dustn1259/EHRCon.

English

Electronic Health Records (EHRs) are integral for storing comprehensive patient medical records, combining structured data (e.g., medications) with detailed clinical notes (e.g., physician notes). These elements are essential for straightforward data retrieval and provide deep, contextual insights into patient care. However, they often suffer from discrepancies due to unintuitive EHR system designs and human errors, posing serious risks to patient safety. To address this, we developed EHRCon, a new dataset and task specifically designed to ensure data consistency between structured tables and unstructured notes in EHRs. EHRCon was crafted in collaboration with healthcare professionals using the MIMIC-III EHR dataset, and includes manual annotations of 3,943 entities across 105 clinical notes checked against database entries for consistency. EHRCon has two versions, one using the original MIMIC-III schema, and another using the OMOP CDM schema, in order to increase its applicability and generalizability. Furthermore, leveraging the capabilities of large language models, we introduce CheckEHR, a novel framework for verifying the consistency between clinical notes and database tables. CheckEHR utilizes an eight-stage process and shows promising results in both few-shot and zero-shot settings. The code is available at https://github.com/dustn1259/EHRCon.