sebis en ArchEHR-QA 2026: ¿Cuánto se puede hacer localmente? Evaluación de preguntas y respuestas sobre EHR con base en un solo cuaderno
sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook
March 14, 2026
Autores: Ibrahim Ebrar Yurt, Fabian Karl, Tejaswi Choppa, Florian Matthes
cs.AI
Resumen
La respuesta a preguntas clínicas sobre registros de salud electrónicos (EHR) puede ayudar a médicos y pacientes a acceder a información médica relevante de manera más eficiente. Sin embargo, muchos enfoques recientes dependen de grandes modelos basados en la nube, que son difíciles de implementar en entornos clínicos debido a restricciones de privacidad y requisitos computacionales. En este trabajo, investigamos hasta qué punto se puede llevar la respuesta a preguntas basada en EHR cuando se restringe a un solo ordenador portátil. Participamos en las cuatro subtareas del shared task ArchEHR-QA 2026 y evaluamos varios enfoques diseñados para ejecutarse en hardware estándar. Todos los experimentos se realizan localmente sin APIs externas ni infraestructura en la nube. Nuestros resultados muestran que dichos sistemas pueden lograr un rendimiento competitivo en los rankings del shared task. En particular, nuestras presentaciones obtienen un rendimiento superior al promedio en dos subtareas, y observamos que modelos más pequeños pueden acercarse al rendimiento de sistemas mucho más grandes cuando están correctamente configurados. Estos hallazgos sugieren que los sistemas de respuesta a preguntas sobre EHR que preservan la privacidad y se ejecutan completamente de forma local son viables con los modelos actuales y hardware estándar. El código fuente está disponible en https://github.com/ibrahimey/ArchEHR-QA-2026.
English
Clinical question answering over electronic health records (EHRs) can help clinicians and patients access relevant medical information more efficiently. However, many recent approaches rely on large cloud-based models, which are difficult to deploy in clinical environments due to privacy constraints and computational requirements. In this work, we investigate how far grounded EHR question answering can be pushed when restricted to a single notebook. We participate in all four subtasks of the ArchEHR-QA 2026 shared task and evaluate several approaches designed to run on commodity hardware. All experiments are conducted locally without external APIs or cloud infrastructure. Our results show that such systems can achieve competitive performance on the shared task leaderboards. In particular, our submissions perform above average in two subtasks, and we observe that smaller models can approach the performance of much larger systems when properly configured. These findings suggest that privacy-preserving EHR QA systems running fully locally are feasible with current models and commodity hardware. The source code is available at https://github.com/ibrahimey/ArchEHR-QA-2026.