EpiQAL: Avaliação de Modelos de Linguagem de Grande Porte em Resposta a Perguntas Epidemiológicas para Melhor Alinhamento e Raciocínio

EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning

January 6, 2026

Autores: Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin

cs.AI

Resumo

Um raciocínio epidemiológico confiável requer a síntese de evidências de estudos para inferir a carga de doença, a dinâmica de transmissão e os efeitos de intervenções ao nível populacional. Os atuais benchmarks de resposta a perguntas médicas enfatizam principalmente o conhecimento clínico ou o raciocínio ao nível do paciente, mas poucos avaliam sistematicamente a inferência epidemiológica fundamentada em evidências. Apresentamos o EpiQAL, o primeiro benchmark de diagnóstico para resposta a perguntas epidemiológicas abrangendo diversas doenças, composto por três subconjuntos construídos a partir de literatura de acesso aberto. Os subconjuntos avaliam, respetivamente, a recordação factual fundamentada em texto, a inferência multi-etapas que liga evidências documentais com princípios epidemiológicos, e a reconstrução de conclusões com a secção de Discussão omitida. A construção combina orientação de taxonomia desenhada por especialistas, verificação multi-modelo e controlo de dificuldade baseado em recuperação de informação. Experiências com dez modelos abertos revelam que os LLMs atuais apresentam desempenho limitado no raciocínio epidemiológico, sendo a inferência multi-etapas o maior desafio. As classificações dos modelos variam entre os subconjuntos, e a escala por si só não prevê o sucesso. O prompting de Cadeia de Pensamento beneficia a inferência multi-etapas, mas produz resultados mistos noutras áreas. O EpiQAL fornece sinais de diagnóstico granulares para fundamentação em evidências, raciocínio inferencial e reconstrução de conclusões.

English

Reliable epidemiological reasoning requires synthesizing study evidence to infer disease burden, transmission dynamics, and intervention effects at the population level. Existing medical question answering benchmarks primarily emphasize clinical knowledge or patient-level reasoning, yet few systematically evaluate evidence-grounded epidemiological inference. We present EpiQAL, the first diagnostic benchmark for epidemiological question answering across diverse diseases, comprising three subsets built from open-access literature. The subsets respectively evaluate text-grounded factual recall, multi-step inference linking document evidence with epidemiological principles, and conclusion reconstruction with the Discussion section withheld. Construction combines expert-designed taxonomy guidance, multi-model verification, and retrieval-based difficulty control. Experiments on ten open models reveal that current LLMs show limited performance on epidemiological reasoning, with multi-step inference posing the greatest challenge. Model rankings shift across subsets, and scale alone does not predict success. Chain-of-Thought prompting benefits multi-step inference but yields mixed results elsewhere. EpiQAL provides fine-grained diagnostic signals for evidence grounding, inferential reasoning, and conclusion reconstruction.