sebis, ArchEHR-QA 2026에서: 단일 노트북으로 얼마나 많은 일을 할 수 있을까? 단일 기기에서의 근거 기반 EHR 질의응답 평가

sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook

March 14, 2026

저자: Ibrahim Ebrar Yurt, Fabian Karl, Tejaswi Choppa, Florian Matthes

cs.AI

초록

전자 건강 기록(EHR)에 대한 임상 질의응답은 임상의와 환자가 관련 의료 정보에 더 효율적으로 접근하는 데 도움을 줄 수 있다. 그러나 최근 많은 접근법은 대규모 클라우드 기반 모델에 의존하는데, 이는 개인정보 보호 제약과 계산 자원 요구 사항으로 인해 임상 환경에 배포하기 어렵다. 본 연구에서는 단일 노트북으로 제한된 환경에서 EHR 기반 질의응답 시스템의 성능을 어디까지 끌어올릴 수 있는지 탐구한다. 우리는 ArchEHR-QA 2026 공유 과제의 네 가지 하위 과제 모두에 참여하고 일반 상용 하드웨어에서 실행되도록 설계된 여러 접근법을 평가한다. 모든 실험은 외부 API나 클라우드 인프라 없이 로컬에서 진행된다. 우리의 결과는 이러한 시스템이 공유 과제 리더보드에서 경쟁력 있는 성능을 달성할 수 있음을 보여준다. 특히, 우리가 제출한 시스템은 두 하위 과제에서 평균 이상의 성능을 보였으며, 적절하게 구성될 경우 더 작은 모델이 훨씬 더 큰 시스템의 성능에 근접할 수 있음을 관찰했다. 이러한 결과는 현재 모델과 일반 상용 하드웨어로 완전히 로컬에서 실행되는 개인정보 보호 EHR 질의응답 시스템의 실현 가능성을 시사한다. 소스 코드는 https://github.com/ibrahimey/ArchEHR-QA-2026에서 확인할 수 있다.

English

Clinical question answering over electronic health records (EHRs) can help clinicians and patients access relevant medical information more efficiently. However, many recent approaches rely on large cloud-based models, which are difficult to deploy in clinical environments due to privacy constraints and computational requirements. In this work, we investigate how far grounded EHR question answering can be pushed when restricted to a single notebook. We participate in all four subtasks of the ArchEHR-QA 2026 shared task and evaluate several approaches designed to run on commodity hardware. All experiments are conducted locally without external APIs or cloud infrastructure. Our results show that such systems can achieve competitive performance on the shared task leaderboards. In particular, our submissions perform above average in two subtasks, and we observe that smaller models can approach the performance of much larger systems when properly configured. These findings suggest that privacy-preserving EHR QA systems running fully locally are feasible with current models and commodity hardware. The source code is available at https://github.com/ibrahimey/ArchEHR-QA-2026.