sebis ad ArchEHR-QA 2026: Quanto si può fare localmente? Valutazione di QA su EHR basato su conoscenza su un singolo notebook
sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook
March 14, 2026
Autori: Ibrahim Ebrar Yurt, Fabian Karl, Tejaswi Choppa, Florian Matthes
cs.AI
Abstract
L'interrogazione clinica su cartelle cliniche elettroniche (EHR) può aiutare medici e pazienti ad accedere alle informazioni mediche rilevanti in modo più efficiente. Tuttavia, molti approcci recenti si basano su modelli di grandi dimensioni basati sul cloud, difficili da implementare in ambienti clinici a causa di vincoli sulla privacy e requisiti computazionali. In questo lavoro, indaghiamo fino a che punto l'interrogazione basata su EHR possa essere spinta quando limitata a un singolo notebook. Partecipiamo a tutti e quattro i sottotask della shared task ArchEHR-QA 2026 e valutiamo diversi approcci progettati per essere eseguiti su hardware commerciale. Tutti gli esperimenti vengono condotti localmente senza API esterne o infrastrutture cloud. I nostri risultati mostrano che tali sistemi possono ottenere prestazioni competitive nelle classifiche della shared task. In particolare, i nostri contributi ottengono prestazioni superiori alla media in due sottotask, e osserviamo che modelli più piccoli possono avvicinarsi alle prestazioni di sistemi molto più grandi quando configurati adeguatamente. Questi risultati suggeriscono che sistemi di QA su EHR che preservano la privacy, eseguiti completamente in locale, sono fattibili con i modelli attuali e hardware commerciale. Il codice sorgente è disponibile all'indirizzo https://github.com/ibrahimey/ArchEHR-QA-2026.
English
Clinical question answering over electronic health records (EHRs) can help clinicians and patients access relevant medical information more efficiently. However, many recent approaches rely on large cloud-based models, which are difficult to deploy in clinical environments due to privacy constraints and computational requirements. In this work, we investigate how far grounded EHR question answering can be pushed when restricted to a single notebook. We participate in all four subtasks of the ArchEHR-QA 2026 shared task and evaluate several approaches designed to run on commodity hardware. All experiments are conducted locally without external APIs or cloud infrastructure. Our results show that such systems can achieve competitive performance on the shared task leaderboards. In particular, our submissions perform above average in two subtasks, and we observe that smaller models can approach the performance of much larger systems when properly configured. These findings suggest that privacy-preserving EHR QA systems running fully locally are feasible with current models and commodity hardware. The source code is available at https://github.com/ibrahimey/ArchEHR-QA-2026.