sebis bei ArchEHR-QA 2026: Wie viel lässt sich lokal bewältigen? Evaluierung von geerdeten EHR-Fragen auf einem einzelnen Notebook
sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook
March 14, 2026
Autoren: Ibrahim Ebrar Yurt, Fabian Karl, Tejaswi Choppa, Florian Matthes
cs.AI
Zusammenfassung
Klinische Frage-Antwort-Systeme auf Basis elektronischer Gesundheitsakten (EHRs) können Klinikern und Patienten helfen, relevante medizinische Informationen effizienter zu erschließen. Allerdings setzen viele aktuelle Ansätze auf große cloudbasierte Modelle, die aufgrund von Datenschutzanforderungen und Rechenleistungsbedarf nur schwer in klinischen Umgebungen einsetzbar sind. In dieser Arbeit untersuchen wir, wie weit EHR-gestütztes Question Answering vorangetrieben werden kann, wenn es auf einen einzelnen Laptop beschränkt ist. Wir nehmen an allen vier Teilaufgaben des ArchEHR-QA-2026-Shared-Tasks teil und evaluieren mehrere Ansätze, die auf handelsüblicher Hardware lauffähig sind. Alle Experimente werden lokal ohne externe APIs oder Cloud-Infrastruktur durchgeführt. Unsere Ergebnisse zeigen, dass solche Systeme wettbewerbsfähige Leistungen in den Leaderboards des Shared Tasks erzielen können. Insbesondere schneiden unsere Einreichungen in zwei Teilaufgaben überdurchschnittlich ab, und wir beobachten, dass kleinere Modelle bei geeigneter Konfiguration an die Leistung deutlich größerer Systeme heranreichen können. Diese Erkenntnisse legen nahe, dass datenschutzerhaltende EHR-QA-Systeme, die vollständig lokal laufen, mit aktuellen Modellen und Standardhardware realisierbar sind. Der Quellcode ist unter https://github.com/ibrahimey/ArchEHR-QA-2026 verfügbar.
English
Clinical question answering over electronic health records (EHRs) can help clinicians and patients access relevant medical information more efficiently. However, many recent approaches rely on large cloud-based models, which are difficult to deploy in clinical environments due to privacy constraints and computational requirements. In this work, we investigate how far grounded EHR question answering can be pushed when restricted to a single notebook. We participate in all four subtasks of the ArchEHR-QA 2026 shared task and evaluate several approaches designed to run on commodity hardware. All experiments are conducted locally without external APIs or cloud infrastructure. Our results show that such systems can achieve competitive performance on the shared task leaderboards. In particular, our submissions perform above average in two subtasks, and we observe that smaller models can approach the performance of much larger systems when properly configured. These findings suggest that privacy-preserving EHR QA systems running fully locally are feasible with current models and commodity hardware. The source code is available at https://github.com/ibrahimey/ArchEHR-QA-2026.