EHRCon: 전자의무기록에서 비정형 노트와 정형화된 테이블 간 일관성 검사를 위한 데이터셋

EHRCon: Dataset for Checking Consistency between Unstructured Notes and Structured Tables in Electronic Health Records

June 24, 2024

저자: Yeonsu Kwon, Jiho Kim, Gyubok Lee, Seongsu Bae, Daeun Kyung, Wonchul Cha, Tom Pollard, Alistair Johnson, Edward Choi

cs.AI

초록

전자의무기록(EHR)은 환자의 포괄적인 의료 기록을 저장하는 데 필수적이며, 구조화된 데이터(예: 약물 정보)와 상세한 임상 기록(예: 의사 소견)을 결합합니다. 이러한 요소들은 직관적인 데이터 검색을 가능하게 하고 환자 치료에 대한 깊은 맥락적 통찰력을 제공합니다. 그러나 직관적이지 않은 EHR 시스템 설계와 인간의 실수로 인해 종종 불일치가 발생하며, 이는 환자 안전에 심각한 위험을 초래합니다. 이를 해결하기 위해 우리는 EHR 내 구조화된 테이블과 비정형 기록 간의 데이터 일관성을 보장하기 위해 특별히 설계된 새로운 데이터셋 및 작업인 EHRCon을 개발했습니다. EHRCon은 MIMIC-III EHR 데이터셋을 기반으로 의료 전문가들과 협력하여 제작되었으며, 데이터베이스 항목과의 일관성을 검증한 105개의 임상 기록에 대한 3,943개의 엔티티의 수동 주석을 포함합니다. EHRCon은 적용성과 일반화를 높이기 위해 원본 MIMIC-III 스키마를 사용한 버전과 OMOP CDM 스키마를 사용한 버전 두 가지로 제공됩니다. 또한, 대규모 언어 모델의 능력을 활용하여 임상 기록과 데이터베이스 테이블 간의 일관성을 검증하는 새로운 프레임워크인 CheckEHR을 소개합니다. CheckEHR은 8단계 프로세스를 사용하며, 퓨샷(few-shot) 및 제로샷(zero-shot) 설정에서 유망한 결과를 보여줍니다. 코드는 https://github.com/dustn1259/EHRCon에서 확인할 수 있습니다.

English

Electronic Health Records (EHRs) are integral for storing comprehensive patient medical records, combining structured data (e.g., medications) with detailed clinical notes (e.g., physician notes). These elements are essential for straightforward data retrieval and provide deep, contextual insights into patient care. However, they often suffer from discrepancies due to unintuitive EHR system designs and human errors, posing serious risks to patient safety. To address this, we developed EHRCon, a new dataset and task specifically designed to ensure data consistency between structured tables and unstructured notes in EHRs. EHRCon was crafted in collaboration with healthcare professionals using the MIMIC-III EHR dataset, and includes manual annotations of 3,943 entities across 105 clinical notes checked against database entries for consistency. EHRCon has two versions, one using the original MIMIC-III schema, and another using the OMOP CDM schema, in order to increase its applicability and generalizability. Furthermore, leveraging the capabilities of large language models, we introduce CheckEHR, a novel framework for verifying the consistency between clinical notes and database tables. CheckEHR utilizes an eight-stage process and shows promising results in both few-shot and zero-shot settings. The code is available at https://github.com/dustn1259/EHRCon.