sebis na ArchEHR-QA 2026: Quanto Você Pode Fazer Localmente? Avaliando QA de EHR Fundamentado em um Único Notebook
sebis at ArchEHR-QA 2026: How Much Can You Do Locally? Evaluating Grounded EHR QA on a Single Notebook
March 14, 2026
Autores: Ibrahim Ebrar Yurt, Fabian Karl, Tejaswi Choppa, Florian Matthes
cs.AI
Resumo
A resposta a questões clínicas sobre registros eletrónicos de saúde (EHR) pode ajudar médicos e pacientes a aceder a informações médicas relevantes de forma mais eficiente. No entanto, muitas abordagens recentes dependem de grandes modelos baseados na nuvem, que são difíceis de implementar em ambientes clínicos devido a restrições de privacidade e requisitos computacionais. Neste trabalho, investigamos até que ponto a resposta a questões sobre EHR fundamentada pode ser avançada quando restrita a um único portátil. Participamos em todas as quatro subtarefas da tarefa partilhada ArchEHR-QA 2026 e avaliamos várias abordagens concebidas para serem executadas em hardware comercial. Todas as experiências são conduzidas localmente, sem APIs externas ou infraestrutura de nuvem. Os nossos resultados mostram que tais sistemas podem alcançar um desempenho competitivo nos *leaderboards* da tarefa partilhada. Em particular, as nossas submissões performam acima da média em duas subtarefas, e observamos que modelos menores podem aproximar-se do desempenho de sistemas muito maiores quando devidamente configurados. Estes resultados sugerem que sistemas de resposta a questões sobre EHR que preservam a privacidade, a funcionar totalmente localmente, são viáveis com os modelos atuais e hardware comercial. O código fonte está disponível em https://github.com/ibrahimey/ArchEHR-QA-2026.
English
Clinical question answering over electronic health records (EHRs) can help clinicians and patients access relevant medical information more efficiently. However, many recent approaches rely on large cloud-based models, which are difficult to deploy in clinical environments due to privacy constraints and computational requirements. In this work, we investigate how far grounded EHR question answering can be pushed when restricted to a single notebook. We participate in all four subtasks of the ArchEHR-QA 2026 shared task and evaluate several approaches designed to run on commodity hardware. All experiments are conducted locally without external APIs or cloud infrastructure. Our results show that such systems can achieve competitive performance on the shared task leaderboards. In particular, our submissions perform above average in two subtasks, and we observe that smaller models can approach the performance of much larger systems when properly configured. These findings suggest that privacy-preserving EHR QA systems running fully locally are feasible with current models and commodity hardware. The source code is available at https://github.com/ibrahimey/ArchEHR-QA-2026.