EpiQAL: Evaluación de Modelos de Lenguaje Grandes en Respuesta a Preguntas Epidemiológicas para una Mejor Alineación y Razonamiento

EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning

January 6, 2026

Autores: Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin

cs.AI

Resumen

El razonamiento epidemiológico fiable requiere sintetizar evidencia de estudios para inferir la carga de enfermedad, la dinámica de transmisión y los efectos de las intervenciones a nivel poblacional. Los benchmarks existentes de respuesta a preguntas médicas enfatizan principalmente el conocimiento clínico o el razonamiento a nivel del paciente, pero pocos evalúan sistemáticamente la inferencia epidemiológica basada en evidencia. Presentamos EpiQAL, el primer benchmark diagnóstico para respuesta a preguntas epidemiológicas sobre diversas enfermedades, que comprende tres subconjuntos construidos a partir de literatura de acceso abierto. Los subconjuntos evalúan respectivamente el recuerdo factual basado en texto, la inferencia de múltiples pasos que vincula evidencia documental con principios epidemiológicos, y la reconstrucción de conclusiones con la sección de Discusión oculta. La construcción combina orientación taxonómica diseñada por expertos, verificación multi-modelo y control de dificultad basado en recuperación. Experimentos con diez modelos abiertos revelan que los LLMs actuales muestran un rendimiento limitado en el razonamiento epidemiológico, siendo la inferencia de múltiples pasos el mayor desafío. Las clasificaciones de los modelos varían entre subconjuntos, y la escala por sí sola no predice el éxito. El prompting de Cadena de Pensamiento beneficia la inferencia multi-paso pero produce resultados mixtos en otros aspectos. EpiQAL proporciona señales diagnósticas granulares para la fundamentación en evidencia, el razonamiento inferencial y la reconstrucción de conclusiones.

English

Reliable epidemiological reasoning requires synthesizing study evidence to infer disease burden, transmission dynamics, and intervention effects at the population level. Existing medical question answering benchmarks primarily emphasize clinical knowledge or patient-level reasoning, yet few systematically evaluate evidence-grounded epidemiological inference. We present EpiQAL, the first diagnostic benchmark for epidemiological question answering across diverse diseases, comprising three subsets built from open-access literature. The subsets respectively evaluate text-grounded factual recall, multi-step inference linking document evidence with epidemiological principles, and conclusion reconstruction with the Discussion section withheld. Construction combines expert-designed taxonomy guidance, multi-model verification, and retrieval-based difficulty control. Experiments on ten open models reveal that current LLMs show limited performance on epidemiological reasoning, with multi-step inference posing the greatest challenge. Model rankings shift across subsets, and scale alone does not predict success. Chain-of-Thought prompting benefits multi-step inference but yields mixed results elsewhere. EpiQAL provides fine-grained diagnostic signals for evidence grounding, inferential reasoning, and conclusion reconstruction.