sebis bij ArchEHR-QA 2026: Hoeveel Kun Je Lokaal Doen? Evaluatie van Gegronde EHR QA op een Enkele Notebook
sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook
March 14, 2026
Auteurs: Ibrahim Ebrar Yurt, Fabian Karl, Tejaswi Choppa, Florian Matthes
cs.AI
Samenvatting
Klinische vraagbeantwoording over elektronische patiëntendossiers (EPD's) kan clinici en patiënten helpen om relevante medische informatie efficiënter te raadplegen. Veel recente benaderingen zijn echter afhankelijk van grote cloudgebaseerde modellen, die moeilijk te implementeren zijn in klinische omgevingen vanwege privacybeperkingen en rekenkundige vereisten. In dit werk onderzoeken we hoe ver gegronde EPD-vraagbeantwoording kan worden gebracht wanneer deze beperkt is tot een enkele notebook. Wij nemen deel aan alle vier de subtaken van de gedeelde taak ArchEHR-QA 2026 en evalueren verschillende benaderingen die zijn ontworpen om te draaien op standaard hardware. Alle experimenten worden lokaal uitgevoerd zonder externe API's of cloudinfrastructuur. Onze resultaten tonen aan dat dergelijke systemen competitieve prestaties kunnen leveren op de leaderboards van de gedeelde taak. In het bijzonder presteren onze inzendingen boven het gemiddelde in twee subtaken, en we observeren dat kleinere modellen de prestaties van veel grotere systemen kunnen benaderen wanneer ze correct geconfigureerd zijn. Deze bevindingen suggereren dat privacybeschermende EPD-vraagbeantwoordingssystemen die volledig lokaal draaien, haalbaar zijn met huidige modellen en standaard hardware. De broncode is beschikbaar op https://github.com/ibrahimey/ArchEHR-QA-2026.
English
Clinical question answering over electronic health records (EHRs) can help clinicians and patients access relevant medical information more efficiently. However, many recent approaches rely on large cloud-based models, which are difficult to deploy in clinical environments due to privacy constraints and computational requirements. In this work, we investigate how far grounded EHR question answering can be pushed when restricted to a single notebook. We participate in all four subtasks of the ArchEHR-QA 2026 shared task and evaluate several approaches designed to run on commodity hardware. All experiments are conducted locally without external APIs or cloud infrastructure. Our results show that such systems can achieve competitive performance on the shared task leaderboards. In particular, our submissions perform above average in two subtasks, and we observe that smaller models can approach the performance of much larger systems when properly configured. These findings suggest that privacy-preserving EHR QA systems running fully locally are feasible with current models and commodity hardware. The source code is available at https://github.com/ibrahimey/ArchEHR-QA-2026.